Xid 79 / 74 / 48 與驅動 580 不一致修復
NVIDIA Xid 79 掉卡、NVLink 異常診斷與硬體 RMA 證據留存
彙整 GPU has fallen off the bus (Xid 79)、Xid 74 NVLink、Xid 48/63 ECC 記憶體錯誤,以及 nvidia-smi NVML 580 版本衝突的正確蒐證與恢復流程。
常見故障特徵與優先排查矩陣
| 日誌特徵 | 故障類別 | 原因說明 | 優先排查方向 | 檢視 |
|---|---|---|---|---|
| NVRM: Xid (PCI:...): 79, GPU has fallen off the bus | PCIe 裝置掉卡 | 驅動程式失去與 GPU 的通訊,可能源自供電、散熱、插槽或顯示卡本身故障。 | 重開機前先保留 UUID、Serial、BMC 與 dmesg,並進行卡槽交叉驗證。 | 檢視詳情 |
| NVRM: Xid 74 (NVLink) / Xid 48 與 63 (ECC / Row Remapper) | 硬體 RMA 指標 | 不可修復 ECC、列重映射失敗或持續 NVLink 錯誤屬於高可信度硬體保固線索。 | 匯出 nvidia-smi -q -d ECC,ROW_REMAPPER 與 nvlink 統計以建立報修報告。 | RMA 評估指南 |
| Failed to initialize NVML: Driver/library version mismatch | 驅動版本衝突 | 系統更新使用者態 NVIDIA 函式庫 (如 580.x) 後,核心 nvidia.ko 模組尚未同步載入。 | 檢查 /proc/driver/nvidia/version 與 /dev/nvidia* 佔用行程後安全重載。 | 修復指令 |
重啟任務前務必先保留的診斷輸出
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1台灣、港澳與全球 GPU 叢集故障排查
免上傳瀏覽器端免費 GPU 工具
常見問題
出現一次 Xid 79 就應該馬上送修 (RMA) 顯示卡嗎?
先保留 UUID、Serial、BMC 與 dmesg 記錄,確認是否由電源、散熱或 PCIe 插槽導致;只有可跨槽複現的故障才直接指向單卡 RMA。
nvidia-smi 顯示 Driver/library version mismatch 怎麼處理?
這是使用者態函式庫與核心載入模組版本不一致所致,在無人使用 GPU 時透過卸載並重新載入 nvidia 核心模組即可修正。
$0 免費帳號與 30 天 Team 團隊評估 (免信用卡 · 支援統編/發票)
個人或團隊信箱皆可立即建立 $0 免費帳號。透過 Stripe 結帳時可自動填寫公司統一編號 / 稅籍編號與帳單地址,亦支援申請年度企業正式發票與銀行電匯付款。