Skip to content

InfiniBand NDR / RoCEv2 / PyTorch DDP 排障

NCCL Watchdog 超时、InfiniBand 链路丢包与根因 Rank 隔离

穿透同步训练中所有节点一起抛出的 WorkNCCL AllReduce 超时假象,精准分离 ibv_poll_cq error 12 链路异常、RoCE GID 错配与静默退出的首个故障进程。

常见故障特征与优先排查矩阵

日志特征故障分类问题说明优先排查建议查看
Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE)次生级联超时存活节点正在等待已经静默退出或阻塞的 Rank,不能仅凭第一个超时 Rank 判断故障源。对比所有 Rank 的最早异常与 WorkNCCL SeqNum 序列号,锁定根因节点。查看详解
Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded)InfiniBand 物理链路新加坡及海外 H100/H200 InfiniBand NDR 集群出现光模块丢包或 mlx5 端口链路闪断。提取主机名与 mlx5 端口索引,按 SMC 新加坡 H100 排障规范定位故障链路。集群排障
NCCL WARN NET/IB : Unable to query GID / Socket timeout网络传输配置容器覆盖网络或 RoCE GID 索引未对齐,导致部分 Rank 回退到低速 Socket 通信或握手超时。使用免费 NCCL 日志解码器核对 NCCL_SOCKET_IFNAME 与 GID 配置。打开解码器

重启集群前务必先收集的原始现场证据

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

新加坡、亚太及全球 GPU 集群排查指引

浏览器本地免费 GPU 工具与手册

常见问题解答

日志里第一个报 NCCL timeout 的 Rank 一定是罪魁祸首吗?

通常不是。能够触发 600 秒看门狗超时的往往是仍在等待对端数据的正常节点,必须追溯全部 Rank 崩溃前的首条 CUDA 或主机错误。

如何分辨是 InfiniBand 硬件端口问题还是环境变量配置问题?

同一主机和 mlx5 端口持续出现 Transport retry counter exceeded 时应排查光模块与交换机链路;Socket 建链失败或 GID 回退则检查 NCCL_SOCKET_IFNAME 与 GID_INDEX。

$0 免费账号与 30 天 Team 评估 (无需信用卡 · 支持公司税号与发票)

任何个人邮箱均可创建 $0 免费账号并在浏览器或 VS Code 本地使用。企业订阅支持全球公司卡及 Stripe GST/VAT/企业税号账单字段,同时支持年度对公发票与电汇开通。