HBM / ECC 實體故障
NVIDIA Xid 48 (不可修正雙位元 ECC 錯誤) 診斷
GPU 顯存出現 ECC 機制無法自動修復的雙位元錯誤,系統為防算術汙染會強制終止運行於該卡的計算程序。
典型日誌特徵
kernel: NVRM: Xid (PCI:0000:47:00): 48, An uncorrectable double bit error (DBE) has been detected on GPU in the framebuffer根本原因與連鎖症狀辨析
HBM 顆粒退化、散熱不良或供電波動產生超過 ECC 糾錯上限的位元翻轉時,核心會記錄 Xid 48 並觸發 Row Remapping 頁重映射。
重開機前務必先保存的取證指令
nvidia-smi --query-gpu=index,uuid,serial,ecc.errors.uncorrected.aggregate.total,ecc.errors.uncorrected.volatile.total --format=csv
nvidia-smi -q -d ECC,ROW_REMAPPER,PAGE_RETIREMENT
dmesg -T | grep -i -E "xid.*(48|63|64|94|95)|retired|remapper"安全排查與修復步驟
- 執行 `nvidia-smi -q -d ECC,ROW_REMAPPER` 保存未修正計數與 Remap Failure / Pending 狀態。
- 檢查 `dmesg` 有無同時伴隨 Xid 63 / 64 / 94 / 95,並安排排水重啟以套用頁重映射。
- 當重映射表耗盡或 Xid 48 反覆出現時,以完整報修證據提交硬體更換申請。
training_logs.txt
手邊沒有日誌?點此載入範例:
大型日誌檔會在您的瀏覽器本機端先濃縮擷取,執行診斷時僅送出關鍵證據片段。
每日 3 次免費雲端診斷額度
常見問題
發生 Xid 48 後的訓練權重還能繼續使用嗎?
為避免錯誤位元滲入張量,建議由前一個已驗證健康的檢查點重新恢復訓練。
只要有成功執行 Row Remapping 就代表沒問題嗎?
單次成功隔離後可加強 ECC 監控;若短期內再度觸發或失敗則屬明確 RMA 警訊。
相關繁體中文 GPU 排錯指南
NVIDIA Xid 79 (GPU 脫離 PCIe 匯流排) 診斷步驟NVIDIA Xid 74 (NVLink 互連致命錯誤) 診斷NCCL Watchdog 逾時排查與根因節點隔離開啟免費 LLM 顯存計算機
英文完整知識庫條目:檢視完整英文參考 (English)
免費試用 Denpex 30 天。完全免費。
無需信用卡,無自動續訂。使用團隊已結案的故障日誌親自驗證診斷精準度。
開啟 30 天免費 Team 團隊評估
30 天內每日最多 50 次診斷。驗證企業工作信箱即可啟用試用,重現已解決的歷史故障並將根因證據與團隊確認結論比對。