Skip to content
多机通信 / 次生级联超时

NCCL Watchdog 超时排查与源头节点定位

打出 WorkNCCL timeout 的进程往往是“仍在坚持等待对端的无辜幸存者”,必须追查哪一个同伴 Rank 提前静默崩溃或拖慢进度。

典型日志特征

[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 ms

根本原因与次生级联症状辨析

单卡 CUDA OOM、主机 OOM-killer 杀进程、Xid 79 掉卡、或数据加载卡顿会使其他节点卡在 `ALLREDUCE` 直到 10 分钟看门狗触发。

重启节点前先收集的取证命令

export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"

安全排查与恢复步骤

  1. 按 UTC 时间对齐收集所有 Rank 的最先报错、Python 异常与宿主机 `dmesg`。
  2. 对比 `WorkNCCL(SeqNum=...)` 找出所有节点停滞在同一个集合操作序号的原因。
  3. 分辨物理链路报错(如 `ibv_poll_cq error 12`)与软件/数据慢节点后再决定重启或隔离主机。
Live diagnosis, no signup

粘贴你的 GPU 日志,立即排查首发故障

提交前会在当前浏览器本地自动遮罩 IP、密钥和私有路径,安全分离根因。

Before uploading, review cloud data handling and local options.

training_logs.txt
No log to hand? Try one:

Upload your log file. Large files are processed in your browser. Only selected evidence is submitted when you run diagnosis.

3 free cloud diagnoses per day

常见问题

单纯把 NCCL_TIMEOUT 调大能解决问题吗?

不能。调大超时只会延长算力空转时间,应配合 `TORCH_NCCL_DUMP_ON_TIMEOUT=1` 保留现场定位卡死节点。

日志最上面是 Rank 0 超时,说明 Rank 0 坏了吗?

通常不是。Rank 0 只是最早打印等待超时的节点,故障往往来自未响应的其他 Rank。

相关简体中文 GPU 排障条目

英文完整百科档案:查看完整英文参考 (English)

免费试用 Denpex 30 天。完全免费。

无需信用卡,无自动续费。使用团队已复盘的故障日志亲自验证诊断效果。

开启 30 天免费 Team 团队评估

30 天内每日最多 50 次诊断。验证企业工作邮箱即可激活试用,回放已解决的历史故障并将根因证据与团队确认结论对比。

请使用公司域名邮箱,例如 alex@yourcompany.com。

适用条件说明

通过邮箱与企业域名校验即可激活 30 天 Team 评估(每日最多 50 次诊断)。若域名未能自动通过,可联系 support@denpex.com 人工审核。编辑器扩展的纯本地离线诊断无需任何账号。

正在使用个人邮箱(Gmail、QQ、163、Outlook)或个人主机?创建 $0 免费账号(无需工作邮箱) 以保存 7 天诊断记录并解锁 AI 推理,或发送集群故障日志预约演示。