Skip to content

Xid 79 / 74 / 48 與驅動 580 不一致修復

NVIDIA Xid 79 掉卡、NVLink 異常診斷與硬體 RMA 證據留存

彙整 GPU has fallen off the bus (Xid 79)、Xid 74 NVLink、Xid 48/63 ECC 記憶體錯誤,以及 nvidia-smi NVML 580 版本衝突的正確蒐證與恢復流程。

常見故障特徵與優先排查矩陣

日誌特徵故障類別原因說明優先排查方向檢視
NVRM: Xid (PCI:...): 79, GPU has fallen off the busPCIe 裝置掉卡驅動程式失去與 GPU 的通訊,可能源自供電、散熱、插槽或顯示卡本身故障。重開機前先保留 UUID、Serial、BMC 與 dmesg,並進行卡槽交叉驗證。檢視詳情
NVRM: Xid 74 (NVLink) / Xid 48 與 63 (ECC / Row Remapper)硬體 RMA 指標不可修復 ECC、列重映射失敗或持續 NVLink 錯誤屬於高可信度硬體保固線索。匯出 nvidia-smi -q -d ECC,ROW_REMAPPER 與 nvlink 統計以建立報修報告。RMA 評估指南
Failed to initialize NVML: Driver/library version mismatch驅動版本衝突系統更新使用者態 NVIDIA 函式庫 (如 580.x) 後,核心 nvidia.ko 模組尚未同步載入。檢查 /proc/driver/nvidia/version 與 /dev/nvidia* 佔用行程後安全重載。修復指令

重啟任務前務必先保留的診斷輸出

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

台灣、港澳與全球 GPU 叢集故障排查

免上傳瀏覽器端免費 GPU 工具

常見問題

出現一次 Xid 79 就應該馬上送修 (RMA) 顯示卡嗎?

先保留 UUID、Serial、BMC 與 dmesg 記錄,確認是否由電源、散熱或 PCIe 插槽導致;只有可跨槽複現的故障才直接指向單卡 RMA。

nvidia-smi 顯示 Driver/library version mismatch 怎麼處理?

這是使用者態函式庫與核心載入模組版本不一致所致,在無人使用 GPU 時透過卸載並重新載入 nvidia 核心模組即可修正。

$0 免費帳號與 30 天 Team 團隊評估 (免信用卡 · 支援統編/發票)

個人或團隊信箱皆可立即建立 $0 免費帳號。透過 Stripe 結帳時可自動填寫公司統一編號 / 稅籍編號與帳單地址,亦支援申請年度企業正式發票與銀行電匯付款。