Skip to content
NVLink / NVSwitch 互联异常

NVIDIA Xid 74 (NVLink 高速互联致命错误) 诊断

GPU 之间或 GPU 与 NVSwitch 之间的高速 NVLink 通道出现不可恢复通信错误,常见于多卡张量并行或全互联训练中断。

典型日志特征

kernel: NVRM: Xid (PCI:0000:83:00): 74, pid=28412, name=pt_main_thread, NVLink: fatal error detected on link 7

根本原因与次生级联症状辨析

NVLink SXM 模组接触不良、物理链路 CRC 误码累积或对端 Switch/GPU 端口故障会导致 Xid 74 中断内核级互连。

重启节点前先收集的取证命令

nvidia-smi nvlink -s
nvidia-smi nvlink -e
nvidia-smi topo -m
dmesg -T | grep -i -E "xid.*(74|149)|nvlink|nvswitch"

安全排查与恢复步骤

  1. 执行 `nvidia-smi nvlink -e` 核对每条链路编号的 CRC 和重传计数器偏高位置。
  2. 结合 `nvidia-smi topo -m` 与同期 `dmesg` 报错,比对两端 GPU 是否同时受影响。
  3. 保存硬件拓扑与计数器记录提交机房或云厂商进行底层板卡检测。
Live diagnosis, no signup

粘贴你的 GPU 日志,立即排查首发故障

提交前会在当前浏览器本地自动遮罩 IP、密钥和私有路径,安全分离根因。

Before uploading, review cloud data handling and local options.

training_logs.txt
No log to hand? Try one:

Upload your log file. Large files are processed in your browser. Only selected evidence is submitted when you run diagnosis.

3 free cloud diagnoses per day

常见问题

能否用 NCCL_P2P_DISABLE=1 临时屏蔽 Xid 74?

仅能作为临时定位对照手段,禁用 P2P 会大幅损失带宽并绕不开硬件根因。

为什么两张卡会同时记录 NVLink 错?

因为物理链路是成对连接的,一侧异常通常会在对端同时表现为重传或断链。

相关简体中文 GPU 排障条目

英文完整百科档案:查看完整英文参考 (English)

免费试用 Denpex 30 天。完全免费。

无需信用卡,无自动续费。使用团队已复盘的故障日志亲自验证诊断效果。

开启 30 天免费 Team 团队评估

30 天内每日最多 50 次诊断。验证企业工作邮箱即可激活试用,回放已解决的历史故障并将根因证据与团队确认结论对比。

请使用公司域名邮箱,例如 alex@yourcompany.com。

适用条件说明

通过邮箱与企业域名校验即可激活 30 天 Team 评估(每日最多 50 次诊断)。若域名未能自动通过,可联系 support@denpex.com 人工审核。编辑器扩展的纯本地离线诊断无需任何账号。

正在使用个人邮箱(Gmail、QQ、163、Outlook)或个人主机?创建 $0 免费账号(无需工作邮箱) 以保存 7 天诊断记录并解锁 AI 推理,或发送集群故障日志预约演示。