Skip to content
数值发散 / 异常数据

训练 Loss 出现 NaN / 梯度 Inf 排查指南

分布式同步下只要单个微批次算出 NaN,AllReduce 会立刻让所有 GPU 参数变 NaN,因此定位首个异常步数与触发节点至关重要。

典型日志特征

step=1420 loss=nan grad_norm=inf learning_rate=3.0e-4 (AMP GradScaler skipped step or BF16 activation overflow)

根本原因与次生级联症状辨析

学习率或预热配置偏高、FP16 溢出导致 Loss Scale 跌穿下限、BF16 注意力分数未归一化,或个别样本存在非法 Token / 空标签。

重启节点前先收集的取证命令

grep -n -E "nan|inf|overflow|grad_norm" train_*.log | head -n 40
export TORCH_SHOW_CPP_STACKTRACES=1
# Re-run exact checkpoint step with torch.autograd.set_detect_anomaly(True) on a short repro

安全排查与恢复步骤

  1. 从后往前检查日志,找出 `grad_norm=inf` 或 Loss Scale 骤降最早出现的训练步(往往早于 `loss=nan` 打印)。
  2. 回退到此前最近一次正常检查点,开启局部异常检测以最短步数定位首个产生 NaN 的算子。
  3. 核对梯度裁剪(如 `max_norm=1.0`)、数据清洗、BF16 与 FP32 累加精度配置。
Live diagnosis, no signup

粘贴你的 GPU 日志,立即排查首发故障

提交前会在当前浏览器本地自动遮罩 IP、密钥和私有路径,安全分离根因。

Before uploading, review cloud data handling and local options.

training_logs.txt
No log to hand? Try one:

Upload your log file. Large files are processed in your browser. Only selected evidence is submitted when you run diagnosis.

3 free cloud diagnoses per day

常见问题

所有卡同时出现 NaN 意味着全部硬件坏了吗?

不是。同步梯度平均会将单卡数值异常在一步之内扩散到整个集群,应先排查算法、精度和数据。

从上一步重跑还在相同 step 报错怎么办?

这说明很大概率是确定性数据序列中该 step 的特定样本或长度组合有问题,直接导出该批次排查即可。

相关简体中文 GPU 排障条目

英文完整百科档案:查看完整英文参考 (English)

免费试用 Denpex 30 天。完全免费。

无需信用卡,无自动续费。使用团队已复盘的故障日志亲自验证诊断效果。

开启 30 天免费 Team 团队评估

30 天内每日最多 50 次诊断。验证企业工作邮箱即可激活试用,回放已解决的历史故障并将根因证据与团队确认结论对比。

请使用公司域名邮箱,例如 alex@yourcompany.com。

适用条件说明

通过邮箱与企业域名校验即可激活 30 天 Team 评估(每日最多 50 次诊断)。若域名未能自动通过,可联系 support@denpex.com 人工审核。编辑器扩展的纯本地离线诊断无需任何账号。

正在使用个人邮箱(Gmail、QQ、163、Outlook)或个人主机?创建 $0 免费账号(无需工作邮箱) 以保存 7 天诊断记录并解锁 AI 推理,或发送集群故障日志预约演示。