Skip to content
HBM / ECC 物理退化

NVIDIA Xid 48 (不可纠正双位 ECC 错误) 诊断

GPU 显存发生硬件 ECC 无法修复的双位错误,会直接中断受影响的计算进程以防止训练参数被错误比特污染。

典型日志特征

kernel: NVRM: Xid (PCI:0000:47:00): 48, An uncorrectable double bit error (DBE) has been detected on GPU in the framebuffer

根本原因与次生级联症状辨析

高带宽显存颗粒老化、持续高温或供电噪声超出单比特纠错极限时触发 Xid 48,驱动随后尝试进行 Row Remapping 页隔离。

重启节点前先收集的取证命令

nvidia-smi --query-gpu=index,uuid,serial,ecc.errors.uncorrected.aggregate.total,ecc.errors.uncorrected.volatile.total --format=csv
nvidia-smi -q -d ECC,ROW_REMAPPER,PAGE_RETIREMENT
dmesg -T | grep -i -E "xid.*(48|63|64|94|95)|retired|remapper"

安全排查与恢复步骤

  1. 运行 `nvidia-smi -q -d ECC,ROW_REMAPPER` 记录未纠正 ECC 计数及是否出现 Remap 失败/待生效。
  2. 排查 `dmesg` 是否伴随 Xid 63 / 64 / 94 / 95,排空任务并在合适窗口确认重映射状态。
  3. 若重映射表耗尽或 Xid 48 反复出现,凭完整导出记录向供应商申请硬件更换。
Live diagnosis, no signup

粘贴你的 GPU 日志,立即排查首发故障

提交前会在当前浏览器本地自动遮罩 IP、密钥和私有路径,安全分离根因。

Before uploading, review cloud data handling and local options.

training_logs.txt
No log to hand? Try one:

Upload your log file. Large files are processed in your browser. Only selected evidence is submitted when you run diagnosis.

3 free cloud diagnoses per day

常见问题

出现 Xid 48 后训练出的模型权重还能信任吗?

存在被损坏比特污染的风险,强烈建议从出现错误之前的已验证检查点恢复。

Row Remapping 成功后显卡还可以继续服役吗?

偶发单次且重映射成功可在严格 ECC 监控下观察;若短期复发或失败则应直接退役。

相关简体中文 GPU 排障条目

英文完整百科档案:查看完整英文参考 (English)

免费试用 Denpex 30 天。完全免费。

无需信用卡,无自动续费。使用团队已复盘的故障日志亲自验证诊断效果。

开启 30 天免费 Team 团队评估

30 天内每日最多 50 次诊断。验证企业工作邮箱即可激活试用,回放已解决的历史故障并将根因证据与团队确认结论对比。

请使用公司域名邮箱,例如 alex@yourcompany.com。

适用条件说明

通过邮箱与企业域名校验即可激活 30 天 Team 评估(每日最多 50 次诊断)。若域名未能自动通过,可联系 support@denpex.com 人工审核。编辑器扩展的纯本地离线诊断无需任何账号。

正在使用个人邮箱(Gmail、QQ、163、Outlook)或个人主机?创建 $0 免费账号(无需工作邮箱) 以保存 7 天诊断记录并解锁 AI 推理,或发送集群故障日志预约演示。