PCIe 失联 / 硬件取证
NVIDIA Xid 79 (GPU 脱离 PCIe 总线) 排查方案
Linux 内核驱动失去与该 GPU 的 PCIe 通信响应。除了卡本身故障,供电不稳、高温保护与 PCIe 插槽/延长线接触不良也极为常见。
典型日志特征
kernel: NVRM: Xid (PCI:0000:c1:00): 79, pid=19201, name=pt_main_thread, GPU has fallen off the bus.根本原因与次生级联症状辨析
瞬时高功耗触发保护、散热受阻或 PCIe 链路异常导致配置空间返回全 F 时,驱动会记录 Xid 79 并使后续 CUDA 调用失败。
重启节点前先收集的取证命令
nvidia-smi --query-gpu=index,name,uuid,serial,pci.bus_id,temperature.gpu,power.draw --format=csv
dmesg -T | grep -i -E "nvrm|xid|pcie|aer|thermal"
lspci -vvv -s c1:00.0 | grep -i -E "LnkSta|CESta|UESta|DevSta"安全排查与恢复步骤
- 重启或更换节点前,第一时间导出 GPU UUID、SN 序列号、`dmesg` 全文和 BMC 电源/温控日志。
- 执行 `lspci -vvv` 检查对应总线是否存在链路降速或 PCIe AER 错误。
- 通过跨插槽或降载复现验证确认并非供电/主板问题后,再凭 UUID 提交厂商 RMA。
Live diagnosis, no signup
粘贴你的 GPU 日志,立即排查首发故障
提交前会在当前浏览器本地自动遮罩 IP、密钥和私有路径,安全分离根因。
Before uploading, review cloud data handling and local options.
training_logs.txt
No log to hand? Try one:
Upload your log file. Large files are processed in your browser. Only selected evidence is submitted when you run diagnosis.
3 free cloud diagnoses per day
常见问题
报一次 Xid 79 就代表显卡芯片彻底坏了吗?
不一定。约相当比例源自电源瞬态压降、散热风道或 PCIe 转接板问题,需结合 BMC 与复现测试确认。
机器重启后 `nvidia-smi` 又看到卡了能直接跑满吗?
不建议直接恢复高负载,未留证排查的供电或物理接触隐患往往会在数小时后复发。
相关简体中文 GPU 排障条目
NVIDIA Xid 74 (NVLink 高速互联致命错误) 诊断NVIDIA Xid 48 (不可纠正双位 ECC 错误) 诊断NCCL Watchdog 超时排查与源头节点定位打开免费 LLM 显存计算器
英文完整百科档案:查看完整英文参考 (English)
免费试用 Denpex 30 天。完全免费。
无需信用卡,无自动续费。使用团队已复盘的故障日志亲自验证诊断效果。
开启 30 天免费 Team 团队评估
30 天内每日最多 50 次诊断。验证企业工作邮箱即可激活试用,回放已解决的历史故障并将根因证据与团队确认结论对比。