Xid 79 / 74 / 48 与驱动 580 版本冲突
NVIDIA Xid 79 掉卡、NVLink 故障排查与 RMA 硬件取证
涵盖 GPU has fallen off the bus (Xid 79)、Xid 74 NVLink、Xid 48/63 ECC、以及 nvidia-smi NVML 580 版本不一致与 No devices were found 的标准现场取证方案。
常见故障特征与优先排查矩阵
| 日志特征 | 故障分类 | 问题说明 | 优先排查建议 | 查看 |
|---|---|---|---|---|
| NVRM: Xid (PCI:...): 79, GPU has fallen off the bus | 硬件失联掉卡 | Linux 驱动失去与 GPU 的 PCIe 通信,可能由供电、散热、插槽或 GPU 芯片硬件故障引起。 | 重启节点前先导出 UUID、序列号、BMC 电源与 dmesg Xid 日志再交叉验证。 | 查看详解 |
| NVRM: Xid 74 (NVLink) / Xid 48 与 63 (ECC / Row Remapper) | 硬件 RMA 证据 | 不可纠正 ECC、Row Remapping 耗尽或持续 NVLink 链路错误属于强硬件保修信号。 | 参照 GPU RMA 判定指南完整保留证据再提交厂商工单。 | RMA 指南 |
| Failed to initialize NVML: Driver/library version mismatch | 驱动版本冲突 | 用户空间 libnvidia-ml 升级至 580.x,而内核态 nvidia.ko 仍驻留旧版本。 | 检查 /proc/driver/nvidia/version 与 /dev/nvidia* 占用情况安全重载。 | 修复指南 |
重启集群前务必先收集的原始现场证据
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1新加坡、亚太及全球 GPU 集群排查指引
浏览器本地免费 GPU 工具与手册
常见问题解答
服务器报 Xid 79 是否必须立刻更换显卡 (RMA)?
不一定。Xid 79 表示驱动与设备通信断开,电源波动、散热降频、PCIe 转接槽或卡本身均可能引发。务必在重启前备份 UUID 与 dmesg 证据。
nvidia-smi 提示 Driver/library version mismatch 怎么不重启恢复?
当系统自动更新用户态组件至 580.x 而内核模块仍是旧版时会触发该错。若当前无占卡任务,停掉持久化守护进程并重装/重载 nvidia 模块即可恢复。
$0 免费账号与 30 天 Team 评估 (无需信用卡 · 支持公司税号与发票)
任何个人邮箱均可创建 $0 免费账号并在浏览器或 VS Code 本地使用。企业订阅支持全球公司卡及 Stripe GST/VAT/企业税号账单字段,同时支持年度对公发票与电汇开通。