Skip to content
分散通信・二次連鎖症状

NCCL Watchdog タイムアウト原因特定ガイド

NCCL timeout を出力した Rank はほとんどの場合「相手を待ち続けて生き残っていた被害者」であり、最初に停止・遅延した別ノードが真因です。

代表的なログシグネチャ

[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 ms

根本原因と二次症状の見分け方

別ノードで CUDA OOM、ホスト RAM OOM-killer (SIGKILL)、Xid 79 バス脱落、またはデータロード遅延が起きると、他 Rank が `ALLREDUCE` 等で 10 分以上待機して Watchdog を発動させます。

再起動・再試行前に収集すべき証拠コマンド

export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"

安全な切り分けと復旧ステップ

  1. 全 Rank のログから最初の例外・SIGKILL・カーネル Xid をタイムスタンプ順 (タイムゾーン補正) で比較します。
  2. `WorkNCCL(SeqNum=...)` の最小値を確認し、進行が遅れていた集合通信番号を特定します。
  3. ハードウェア要因 (`ibv_poll_cq error 12` 等) とデータローダーのストラグラーを分けて対処します。
登録不要のライブ診断

お手元のログで最初の故障原因を無料チェック

生ログを貼り付けると、ブラウザ内で機密値を自動マスクして起点ノードや二次エラーを切り分けます。

アップロード前に クラウドでのデータ取り扱いと完全ローカル実行の選択肢 をご確認ください。

training_logs.txt
手元にログがない場合はサンプルでお試しください:

ログファイルを選択してください。大きなファイルはブラウザ内で整形され、抽出された証跡のみが診断に送信されます。

1日3回まで無料のクラウド診断

よくある質問

NCCL_ASYNC_ERROR_HANDLING と Watchdog 延長だけで直りますか?

いいえ。タイムアウト延長は根本原因 (遅い Rank や OOM) を先送りするだけです。`TORCH_NCCL_DUMP_ON_TIMEOUT=1` でフライトレコーダーを残して原因 Rank を特定してください。

Rank 0 のタイムアウトが出た場合 Rank 0 が故障ですか?

通常は逆で、Rank 0 以外のどれかが応答不能になっているサインです。

関連する日本語 GPU 障害ガイド

英語版の完全データベース詳細:English Technical Reference を開く

Denpex を 30 日間お試し。 無料。

クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。

30日間の無料 Team 評価を開始

30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。

会社のメールアドレスをご入力ください (例: taro@yourcompany.co.jp)。

対象条件について

法人ドメインのメールアドレスで認証が完了すると、30日間の Team 評価版 (1日最大50件診断) が有効化されます。自動判定できないドメインは support@denpex.com で手動確認いたします。エディタ拡張機能でのローカル診断はアカウント不要です。

個人メール (Gmail・Outlook 等) や個人環境をお使いですか? $0 無料アカウントを作成 (個人メール可) すると 7 日間の履歴保存や AI フォールバックが使えます。また、障害ログを送って個別ウォークスルーを依頼することも可能です。