NVLink / NVSwitch 互联异常
NVIDIA Xid 74 (NVLink 高速互联致命错误) 诊断
GPU 之间或 GPU 与 NVSwitch 之间的高速 NVLink 通道出现不可恢复通信错误,常见于多卡张量并行或全互联训练中断。
典型日志特征
kernel: NVRM: Xid (PCI:0000:83:00): 74, pid=28412, name=pt_main_thread, NVLink: fatal error detected on link 7根本原因与次生级联症状辨析
NVLink SXM 模组接触不良、物理链路 CRC 误码累积或对端 Switch/GPU 端口故障会导致 Xid 74 中断内核级互连。
重启节点前先收集的取证命令
nvidia-smi nvlink -s
nvidia-smi nvlink -e
nvidia-smi topo -m
dmesg -T | grep -i -E "xid.*(74|149)|nvlink|nvswitch"安全排查与恢复步骤
- 执行 `nvidia-smi nvlink -e` 核对每条链路编号的 CRC 和重传计数器偏高位置。
- 结合 `nvidia-smi topo -m` 与同期 `dmesg` 报错,比对两端 GPU 是否同时受影响。
- 保存硬件拓扑与计数器记录提交机房或云厂商进行底层板卡检测。
Live diagnosis, no signup
粘贴你的 GPU 日志,立即排查首发故障
提交前会在当前浏览器本地自动遮罩 IP、密钥和私有路径,安全分离根因。
Before uploading, review cloud data handling and local options.
training_logs.txt
No log to hand? Try one:
Upload your log file. Large files are processed in your browser. Only selected evidence is submitted when you run diagnosis.
3 free cloud diagnoses per day
常见问题
能否用 NCCL_P2P_DISABLE=1 临时屏蔽 Xid 74?
仅能作为临时定位对照手段,禁用 P2P 会大幅损失带宽并绕不开硬件根因。
为什么两张卡会同时记录 NVLink 错?
因为物理链路是成对连接的,一侧异常通常会在对端同时表现为重传或断链。
相关简体中文 GPU 排障条目
NVIDIA Xid 79 (GPU 脱离 PCIe 总线) 排查方案NVIDIA Xid 48 (不可纠正双位 ECC 错误) 诊断NCCL Watchdog 超时排查与源头节点定位打开免费 LLM 显存计算器
英文完整百科档案:查看完整英文参考 (English)
免费试用 Denpex 30 天。完全免费。
无需信用卡,无自动续费。使用团队已复盘的故障日志亲自验证诊断效果。
开启 30 天免费 Team 团队评估
30 天内每日最多 50 次诊断。验证企业工作邮箱即可激活试用,回放已解决的历史故障并将根因证据与团队确认结论对比。