Skip to content
數值發散 / 異常資料

訓練 Loss 出現 NaN / 梯度 Inf 發散排查指南

在分散式同步訓練中,只要單一張卡算出 NaN,AllReduce 就會在同一步擴散給全部 GPU,因此追蹤首發異常步數格外重要。

典型日誌特徵

step=1420 loss=nan grad_norm=inf learning_rate=3.0e-4 (AMP GradScaler skipped step or BF16 activation overflow)

根本原因與連鎖症狀辨析

過高學習率與不足的 Warmup、FP16 Loss Scale 崩潰、BF16 注意力溢出,或個別訓練樣本含有極端異常值皆會引發數值發散。

重開機前務必先保存的取證指令

grep -n -E "nan|inf|overflow|grad_norm" train_*.log | head -n 40
export TORCH_SHOW_CPP_STACKTRACES=1
# Re-run exact checkpoint step with torch.autograd.set_detect_anomaly(True) on a short repro

安全排查與修復步驟

  1. 回溯日誌尋找最初出現 `grad_norm=inf` 或 Loss Scale 急速縮減的訓練步數。
  2. 從前一個正常檢查點重啟短測試並搭配異常偵測找出第一個產生 NaN 的層與資料索引。
  3. 調整 gradient clipping (`max_norm=1.0`)、檢查資料前處理與標籤屏蔽邏輯。
免註冊即時診斷

貼上您的 GPU 日誌,立即排查首發故障

送出前會在瀏覽器本機自動遮罩 IP、金鑰與私有路徑,精準鎖定根因。

上傳前請先檢視 雲端資料處理說明與完全本機離線選項。

training_logs.txt
手邊沒有日誌?點此載入範例:

大型日誌檔會在您的瀏覽器本機端先濃縮擷取,執行診斷時僅送出關鍵證據片段。

每日 3 次免費雲端診斷額度

常見問題

全部 GPU 同一時間變 NaN 是代表多張卡一起壞掉嗎?

不是。AllReduce 梯度平均會在一瞬間將單一算子或單筆資料的異常傳給所有卡,應先檢查超參數與批次資料。

重跑在同一個 step 每次都發散該怎麼查?

強烈建議直接檢查該確定性資料索引對應的輸入文本長度、遮罩或標籤數值是否異常。

相關繁體中文 GPU 排錯指南

英文完整知識庫條目:檢視完整英文參考 (English)

免費試用 Denpex 30 天。完全免費。

無需信用卡,無自動續訂。使用團隊已結案的故障日誌親自驗證診斷精準度。

開啟 30 天免費 Team 團隊評估

30 天內每日最多 50 次診斷。驗證企業工作信箱即可啟用試用,重現已解決的歷史故障並將根因證據與團隊確認結論比對。

請使用公司網域信箱,例如 alex@yourcompany.com。

適用資格說明

通過信箱與企業網域驗證即可啟用 30 天 Team 評估(每日最多 50 次診斷)。若網域無法自動驗證,可聯繫 support@denpex.com 人工審核。編輯器擴充套件的本機離線診斷無需帳號。

使用個人信箱(Gmail、Outlook、Yahoo)或個人叢集?建立 $0 免費帳號(不需工作信箱) 以保存 7 天紀錄並啟用 AI 診斷,或傳送叢集故障日誌預約展示。