InfiniBand NDR / RoCEv2 / PyTorch DDP 排障
NCCL Watchdog 超时、InfiniBand 链路丢包与根因 Rank 隔离
穿透同步训练中所有节点一起抛出的 WorkNCCL AllReduce 超时假象,精准分离 ibv_poll_cq error 12 链路异常、RoCE GID 错配与静默退出的首个故障进程。
常见故障特征与优先排查矩阵
| 日志特征 | 故障分类 | 问题说明 | 优先排查建议 | 查看 |
|---|---|---|---|---|
| Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE) | 次生级联超时 | 存活节点正在等待已经静默退出或阻塞的 Rank,不能仅凭第一个超时 Rank 判断故障源。 | 对比所有 Rank 的最早异常与 WorkNCCL SeqNum 序列号,锁定根因节点。 | 查看详解 |
| Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded) | InfiniBand 物理链路 | 新加坡及海外 H100/H200 InfiniBand NDR 集群出现光模块丢包或 mlx5 端口链路闪断。 | 提取主机名与 mlx5 端口索引,按 SMC 新加坡 H100 排障规范定位故障链路。 | 集群排障 |
| NCCL WARN NET/IB : Unable to query GID / Socket timeout | 网络传输配置 | 容器覆盖网络或 RoCE GID 索引未对齐,导致部分 Rank 回退到低速 Socket 通信或握手超时。 | 使用免费 NCCL 日志解码器核对 NCCL_SOCKET_IFNAME 与 GID 配置。 | 打开解码器 |
重启集群前务必先收集的原始现场证据
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1新加坡、亚太及全球 GPU 集群排查指引
浏览器本地免费 GPU 工具与手册
常见问题解答
日志里第一个报 NCCL timeout 的 Rank 一定是罪魁祸首吗?
通常不是。能够触发 600 秒看门狗超时的往往是仍在等待对端数据的正常节点,必须追溯全部 Rank 崩溃前的首条 CUDA 或主机错误。
如何分辨是 InfiniBand 硬件端口问题还是环境变量配置问题?
同一主机和 mlx5 端口持续出现 Transport retry counter exceeded 时应排查光模块与交换机链路;Socket 建链失败或 GID 回退则检查 NCCL_SOCKET_IFNAME 与 GID_INDEX。
$0 免费账号与 30 天 Team 评估 (无需信用卡 · 支持公司税号与发票)
任何个人邮箱均可创建 $0 免费账号并在浏览器或 VS Code 本地使用。企业订阅支持全球公司卡及 Stripe GST/VAT/企业税号账单字段,同时支持年度对公发票与电汇开通。