Training Loss NaN & Gradienten-Explosion (grad_norm inf)
Über AllReduce verbreitet ein einziger NaN-Gradient auf einer GPU binnen eines Schritts NaN im gesamten Cluster. Entscheidend ist der erste abweichende Schritt.
Typische Log-Signatur
step=1420 loss=nan grad_norm=inf learning_rate=3.0e-4 (AMP GradScaler skipped step or BF16 activation overflow)Ursache und Abgrenzung zu Folgesymptomen
Zu hohe Learning Rate ohne Warmup, FP16 Loss-Scaler-Unterlauf, extreme Attention-Logits oder kaputte Token-/Label-Indizes im Batch.
Diagnose-Befehle vor einem Neustart ausführen
grep -n -E "nan|inf|overflow|grad_norm" train_*.log | head -n 40
export TORCH_SHOW_CPP_STACKTRACES=1
# Re-run exact checkpoint step with torch.autograd.set_detect_anomaly(True) on a short reproSichere Triage und Behebung
- Vom Crash rückwärts suchen, in welchem Step zuerst `grad_norm=inf` oder ein fallender Loss-Scaler auftrat.
- Vom vorigen gültigen Checkpoint aus einen kurzen Lauf mit Anomaly-Detection bis genau zu jenem Batch fahren.
- Gradient Clipping (`max_norm=1.0`), Warmup, BF16 mit FP32-Akkumulation und Eingabemasken prüfen.
Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen
Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.
Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.
Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.
Häufige Fragen
Alle GPUs zeigen zeitgleich NaN: Sind die Karten defekt?
Nein. Gradient-Synchronisation verteilt einen einzelnen fehlerhaften Mikro-Batch augenblicklich über alle Ranks.
Warum tritt NaN nach Restart am selben Step wieder auf?
Bei deterministischer Datenreihenfolge trifft der Lauf wieder denselben fehlerhaften Batch oder Sequenz-Ausreißer.
Weitere deutsche GPU-Fehler-Leitfäden
Denpex 30 Tage testen. KOSTENLOS.
Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.
Kostenlose 30-tägige Team-Testphase starten
Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.