Skip to content

InfiniBand NDR / RoCEv2 / PyTorch DDP トリアージ

NCCL Watchdog タイムアウト・InfiniBand エラー・起点ランク特定

WorkNCCL AllReduce タイムアウトをそのまま受け取らず、mlx5 RDMA リトライ超過 (error 12)、RoCE GID 不整合、P2P ブロック、またはホスト側 OOM を最初に起こしたランクを隔離します。

主な障害パターンと初期対応

ログ署名分類意味最初の確認点詳細
Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE)二次症状生存ランクが先行して停止または遅延した別ランクを待ってタイムアウトしました。全ランクログと WorkNCCL SeqNum を比較し、最初に脱落したノードを特定します。詳細を見る
Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded)RDMA / 物理層InfiniBand / RoCE ポートのリンク不安定または光トランシーバー劣化による RDMA 再送超過です。問題のホスト名と mlx5 ポート番号を控え、ハードウェア障害としてエスカレーションします。詳細を見る
NCCL WARN Cuda failure 'peer access is not supported'PCIe トポロジIOMMU / ACS 設定や PCIe スイッチ制約により GPU 間 P2P IPC 通信が拒否されました。GPUSOROBAN 等の環境では NCCL_P2P_DISABLE=1 での切り分けと NUMA 配置を確認します。対策を見る

現場で最初に保全すべきコマンド出力

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

日本および主要 GPU クラウド障害トリアージ

ブラウザ完結の無料 GPU ツールと資料

よくある質問

最初に出力された Rank 0 の NCCL タイムアウトが犯人ですか?

いいえ。タイムアウトを出したランクは最後まで生きて待っていた被害者である場合が多く、先に停止または遅延した別ランクの直前ログと SeqNum を比較する必要があります。

IB リンク障害かアプリ設定ミスかはどう切り分けますか?

ibv_poll_cq error 12 が特定ホストの特定 mlx5 ポートに連続していれば物理リンク側、NCCL WARN peer access is not supported なら P2P 設定や IOMMU トポロジを確認します。

$0 無料プランと 30 日間チーム評価 (カード不要・請求書 / JCB 対応)

個人・法人を問わず Gmail 等で $0 無料アカウントを作成できます。チーム評価 (月 $415 年間契約 / $499 月払い相当) では Stripe チェックアウトで JCB・各種法人カードおよび適格請求書 / VAT・GST 番号入力に対応し、銀行振込による年額インボイスも発行可能です。