システム RAM / cgroup OOM
ホスト RAM OOM-killer (SIGKILL / exit 137) 診断
CUDA OOM のように見えても、実態はシステム物理メモリまたは Slurm/K8s cgroup メモリ上限超過により Linux カーネルがプロセスを `SIGKILL` で殺しています。
代表的なログシグネチャ
torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kB根本原因と二次症状の見分け方
`DataLoader` の `num_workers` 多重化、PyTorch チェックポイントの全ノード同時ロード、`pin_memory=True`、あるいはコピーオンライトの増大でホスト RAM が枯渇します。
再起動・再試行前に収集すべき証拠コマンド
dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMem安全な切り分けと復旧ステップ
- `dmesg -T | grep -i oom-kill` と Slurm `sacct` の `MaxRSS` を確認し、VRAM ではなくホスト RAM 上限到達を裏付けます。
- 各 Rank でモデルをフルロードせず Rank 0 のみロードしてブロードキャストする方式へ変更します。
- `num_workers`、プリフェッチ係数、コンテナ `memory.limit` のバランスを調整します。
登録不要のライブ診断
お手元のログで最初の故障原因を無料チェック
生ログを貼り付けると、ブラウザ内で機密値を自動マスクして起点ノードや二次エラーを切り分けます。
アップロード前に クラウドでのデータ取り扱いと完全ローカル実行の選択肢 をご確認ください。
training_logs.txt
手元にログがない場合はサンプルでお試しください:
ログファイルを選択してください。大きなファイルはブラウザ内で整形され、抽出された証跡のみが診断に送信されます。
1日3回まで無料のクラウド診断
よくある質問
GPU 使用率が 50% なのに学習が exit 137 で止まる理由は?
exit 137 は CPU 側のシステム RAM 枯渇や cgroup 上限超過による `SIGKILL` の典型サインです。
他ノードが NCCL timeout になるのは関係ありますか?
1 ノードが OOM-killer で即死すると、生存ノードが集合通信待ちで後から NCCL Watchdog タイムアウトを出します。
関連する日本語 GPU 障害ガイド
NCCL Watchdog タイムアウト原因特定ガイドCUDA out of memory (PyTorch / vLLM VRAM 不足) 診断と対策チェックポイント破損・読み込み失敗 (EOFError) 診断無料 LLM VRAM 計算機で試算
英語版の完全データベース詳細:English Technical Reference を開く
Denpex を 30 日間お試し。 無料。
クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。
30日間の無料 Team 評価を開始
30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。