Skip to content
数値不安定・データ異常

学習 Loss NaN / 勾配 Inf 発散 トリアージガイド

AllReduce によって単一 Rank の NaN 勾配が全 GPU へ即座に伝播するため、最初の NaN ステップと発火元のマイクロバッチを切り分ける必要があります。

代表的なログシグネチャ

step=1420 loss=nan grad_norm=inf learning_rate=3.0e-4 (AMP GradScaler skipped step or BF16 activation overflow)

根本原因と二次症状の見分け方

過大な学習率・warmup 不足、FP16 での動的 Loss Scale 破綻、BF16 Attention/LayerNorm 計算での極端な値、または破損トークン ID が原因になります。

再起動・再試行前に収集すべき証拠コマンド

grep -n -E "nan|inf|overflow|grad_norm" train_*.log | head -n 40
export TORCH_SHOW_CPP_STACKTRACES=1
# Re-run exact checkpoint step with torch.autograd.set_detect_anomaly(True) on a short repro

安全な切り分けと復旧ステップ

  1. ログを遡り、`loss=nan` より前に `grad_norm=inf` や Loss Scale 急降下が起きていた最初のステップを特定します。
  2. 可能であれば問題ステップ直前のチェックポイントから `detect_anomaly(True)` 付きの短時間再現で演算箇所を特定します。
  3. 勾配クリッピング (`max_norm=1.0`)、BF16 での FP32 累積、入力マスク・データ値のサニティチェックを確認します。
登録不要のライブ診断

お手元のログで最初の故障原因を無料チェック

生ログを貼り付けると、ブラウザ内で機密値を自動マスクして起点ノードや二次エラーを切り分けます。

アップロード前に クラウドでのデータ取り扱いと完全ローカル実行の選択肢 をご確認ください。

training_logs.txt
手元にログがない場合はサンプルでお試しください:

ログファイルを選択してください。大きなファイルはブラウザ内で整形され、抽出された証跡のみが診断に送信されます。

1日3回まで無料のクラウド診断

よくある質問

全 GPU で同時に NaN になったのはハードウェア故障ですか?

分散学習では勾配同期 (`ALLREDUCE`) で 1 枚の異常も即座に全 GPU へ広がるため、まずソフトウェア・データ・ハイパーパラメータ要因を調べます。

チェックポイントから再開するたびに同じ場所で NaN になりますか?

決定論的データローダーで同じ不良バッチを踏む場合は同一ステップ付近で再現するため、該当データバッチの検証が有効です。

関連する日本語 GPU 障害ガイド

英語版の完全データベース詳細:English Technical Reference を開く

Denpex を 30 日間お試し。 無料。

クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。

30日間の無料 Team 評価を開始

30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。

会社のメールアドレスをご入力ください (例: taro@yourcompany.co.jp)。

対象条件について

法人ドメインのメールアドレスで認証が完了すると、30日間の Team 評価版 (1日最大50件診断) が有効化されます。自動判定できないドメインは support@denpex.com で手動確認いたします。エディタ拡張機能でのローカル診断はアカウント不要です。

個人メール (Gmail・Outlook 等) や個人環境をお使いですか? $0 無料アカウントを作成 (個人メール可) すると 7 日間の履歴保存や AI フォールバックが使えます。また、障害ログを送って個別ウォークスルーを依頼することも可能です。