Skip to content
主機系統記憶體 OOM

主機 RAM OOM-killer (SIGKILL / exit 137) 診斷

真正用盡的不是顯示卡 VRAM,而是伺服器實體記憶體或 cgroup 配額,造成 Linux 核心直接發送 `SIGKILL` 終止程序。

典型日誌特徵

torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kB

根本原因與連鎖症狀辨析

`DataLoader` 開設過多 `num_workers`、所有 Rank 同時在 CPU 記憶體展開龐大權重,或 `pin_memory` 與系統快取膨脹超出節點 RAM。

重開機前務必先保存的取證指令

dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMem

安全排查與修復步驟

  1. 核對 `dmesg -T | grep -i oom-kill` 及 Slurm `sacct` 的 MaxRSS 數值,確認為主機端 OOM。
  2. 改為僅由單一主程序讀取模型或使用分片載入以降低多行程 CPU 記憶體重複消耗。
  3. 合理下調 `num_workers`、`prefetch_factor` 與檢視容器記憶體配額。
免註冊即時診斷

貼上您的 GPU 日誌,立即排查首發故障

送出前會在瀏覽器本機自動遮罩 IP、金鑰與私有路徑,精準鎖定根因。

上傳前請先檢視 雲端資料處理說明與完全本機離線選項。

training_logs.txt
手邊沒有日誌?點此載入範例:

大型日誌檔會在您的瀏覽器本機端先濃縮擷取,執行診斷時僅送出關鍵證據片段。

每日 3 次免費雲端診斷額度

常見問題

GPU 顯存只用到 40%,為什麼依然回報 exit 137?

exit 137 (128+9) 是作業系統核心因主機系統 RAM 耗盡所發出的 `SIGKILL` 訊號。

這會連帶觸發其他節點的 NCCL timeout 嗎?

會。只要一個節點遭核心強制砍掉,其餘節點等待集體通訊逾時便會出現 NCCL Watchdog 錯誤。

相關繁體中文 GPU 排錯指南

英文完整知識庫條目:檢視完整英文參考 (English)

免費試用 Denpex 30 天。完全免費。

無需信用卡,無自動續訂。使用團隊已結案的故障日誌親自驗證診斷精準度。

開啟 30 天免費 Team 團隊評估

30 天內每日最多 50 次診斷。驗證企業工作信箱即可啟用試用,重現已解決的歷史故障並將根因證據與團隊確認結論比對。

請使用公司網域信箱,例如 alex@yourcompany.com。

適用資格說明

通過信箱與企業網域驗證即可啟用 30 天 Team 評估(每日最多 50 次診斷)。若網域無法自動驗證,可聯繫 support@denpex.com 人工審核。編輯器擴充套件的本機離線診斷無需帳號。

使用個人信箱(Gmail、Outlook、Yahoo)或個人叢集?建立 $0 免費帳號(不需工作信箱) 以保存 7 天紀錄並啟用 AI 診斷,或傳送叢集故障日誌預約展示。