Skip to content
システム RAM / cgroup OOM

ホスト RAM OOM-killer (SIGKILL / exit 137) 診断

CUDA OOM のように見えても、実態はシステム物理メモリまたは Slurm/K8s cgroup メモリ上限超過により Linux カーネルがプロセスを `SIGKILL` で殺しています。

代表的なログシグネチャ

torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kB

根本原因と二次症状の見分け方

`DataLoader` の `num_workers` 多重化、PyTorch チェックポイントの全ノード同時ロード、`pin_memory=True`、あるいはコピーオンライトの増大でホスト RAM が枯渇します。

再起動・再試行前に収集すべき証拠コマンド

dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMem

安全な切り分けと復旧ステップ

  1. `dmesg -T | grep -i oom-kill` と Slurm `sacct` の `MaxRSS` を確認し、VRAM ではなくホスト RAM 上限到達を裏付けます。
  2. 各 Rank でモデルをフルロードせず Rank 0 のみロードしてブロードキャストする方式へ変更します。
  3. `num_workers`、プリフェッチ係数、コンテナ `memory.limit` のバランスを調整します。
登録不要のライブ診断

お手元のログで最初の故障原因を無料チェック

生ログを貼り付けると、ブラウザ内で機密値を自動マスクして起点ノードや二次エラーを切り分けます。

アップロード前に クラウドでのデータ取り扱いと完全ローカル実行の選択肢 をご確認ください。

training_logs.txt
手元にログがない場合はサンプルでお試しください:

ログファイルを選択してください。大きなファイルはブラウザ内で整形され、抽出された証跡のみが診断に送信されます。

1日3回まで無料のクラウド診断

よくある質問

GPU 使用率が 50% なのに学習が exit 137 で止まる理由は?

exit 137 は CPU 側のシステム RAM 枯渇や cgroup 上限超過による `SIGKILL` の典型サインです。

他ノードが NCCL timeout になるのは関係ありますか?

1 ノードが OOM-killer で即死すると、生存ノードが集合通信待ちで後から NCCL Watchdog タイムアウトを出します。

関連する日本語 GPU 障害ガイド

英語版の完全データベース詳細:English Technical Reference を開く

Denpex を 30 日間お試し。 無料。

クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。

30日間の無料 Team 評価を開始

30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。

会社のメールアドレスをご入力ください (例: taro@yourcompany.co.jp)。

対象条件について

法人ドメインのメールアドレスで認証が完了すると、30日間の Team 評価版 (1日最大50件診断) が有効化されます。自動判定できないドメインは support@denpex.com で手動確認いたします。エディタ拡張機能でのローカル診断はアカウント不要です。

個人メール (Gmail・Outlook 等) や個人環境をお使いですか? $0 無料アカウントを作成 (個人メール可) すると 7 日間の履歴保存や AI フォールバックが使えます。また、障害ログを送って個別ウォークスルーを依頼することも可能です。