Skip to content
Numerische Instabilität / Datenfehler

Training Loss NaN & Gradienten-Explosion (grad_norm inf)

Über AllReduce verbreitet ein einziger NaN-Gradient auf einer GPU binnen eines Schritts NaN im gesamten Cluster. Entscheidend ist der erste abweichende Schritt.

Typische Log-Signatur

step=1420 loss=nan grad_norm=inf learning_rate=3.0e-4 (AMP GradScaler skipped step or BF16 activation overflow)

Ursache und Abgrenzung zu Folgesymptomen

Zu hohe Learning Rate ohne Warmup, FP16 Loss-Scaler-Unterlauf, extreme Attention-Logits oder kaputte Token-/Label-Indizes im Batch.

Diagnose-Befehle vor einem Neustart ausführen

grep -n -E "nan|inf|overflow|grad_norm" train_*.log | head -n 40
export TORCH_SHOW_CPP_STACKTRACES=1
# Re-run exact checkpoint step with torch.autograd.set_detect_anomaly(True) on a short repro

Sichere Triage und Behebung

  1. Vom Crash rückwärts suchen, in welchem Step zuerst `grad_norm=inf` oder ein fallender Loss-Scaler auftrat.
  2. Vom vorigen gültigen Checkpoint aus einen kurzen Lauf mit Anomaly-Detection bis genau zu jenem Batch fahren.
  3. Gradient Clipping (`max_norm=1.0`), Warmup, BF16 mit FP32-Akkumulation und Eingabemasken prüfen.
Live-Diagnose ohne Login

Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen

Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.

Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.

training_logs.txt
Kein eigenes Log zur Hand? Beispiel auswählen:

Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.

3 kostenlose Cloud-Diagnosen pro Tag

Häufige Fragen

Alle GPUs zeigen zeitgleich NaN: Sind die Karten defekt?

Nein. Gradient-Synchronisation verteilt einen einzelnen fehlerhaften Mikro-Batch augenblicklich über alle Ranks.

Warum tritt NaN nach Restart am selben Step wieder auf?

Bei deterministischer Datenreihenfolge trifft der Lauf wieder denselben fehlerhaften Batch oder Sequenz-Ausreißer.

Weitere deutsche GPU-Fehler-Leitfäden

Vollständiger englischer Facheintrag:Englische Referenz öffnen

Denpex 30 Tage testen. KOSTENLOS.

Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.

Kostenlose 30-tägige Team-Testphase starten

Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.

Verwenden Sie Ihre Firmen-E-Mail, zum Beispiel alex@ihrunternehmen.de.

Wer ist berechtigt?

Unternehmensdomains aktivieren nach E-Mail- und Domainprüfung automatisch die 30-tägige Team-Testphase (bis zu 50 Diagnosen täglich). Falls die automatische Prüfung fehlschlägt, hilft support@denpex.com. Lokale Diagnosen in der IDE-Erweiterung benötigen kein Konto.

Nutzen Sie eine private Adresse (Gmail, Outlook, GMX) oder ein Einzel-Cluster? Kostenloses $0-Konto erstellen (ohne Firmen-E-Mail), um 7 Tage Verlauf zu speichern, oder senden Sie ein Cluster-Crash-Log für eine Live-Analyse.