Skip to content
Instabilité numérique / Données

Divergence Loss NaN et gradients Inf en entraînement

Comme AllReduce moyenne tous les gradients à chaque pas, un seul NaN produit sur un GPU contamine tout le cluster instantanément.

Signature typique dans les logs

step=1420 loss=nan grad_norm=inf learning_rate=3.0e-4 (AMP GradScaler skipped step or BF16 activation overflow)

Mécanisme réel et distinction des cascades

Taux d'apprentissage trop élevé sans warmup, sous-dépassement du Loss Scaler FP16, valeurs d'attention extrêmes ou étiquettes/masques invalides.

Commandes de collecte avant redémarrage

grep -n -E "nan|inf|overflow|grad_norm" train_*.log | head -n 40
export TORCH_SHOW_CPP_STACKTRACES=1
# Re-run exact checkpoint step with torch.autograd.set_detect_anomaly(True) on a short repro

Procédure de triage sécurisée

  1. Remonter le journal avant `loss=nan` pour trouver le tout premier pas avec `grad_norm=inf` ou baisse du Loss Scaler.
  2. Rejouer quelques pas depuis le dernier checkpoint sain avec détection d'anomalies activée.
  3. Vérifier gradient clipping (`max_norm=1.0`), accumulation FP32 et filtrage des données d'entrée.
Diagnostic en direct sans inscription

Tester gratuitement votre log GPU pour trouver le premier événement

Les adresses IP, clés et chemins privés sont masqués localement dans votre navigateur.

Consultez avant envoi : traitement cloud et exécution 100 % locale hors ligne.

training_logs.txt
Pas de log sous la main ? Choisissez un exemple :

Les fichiers volumineux sont condensés dans votre navigateur. Seules les preuves sélectionnées sont transmises au diagnostic.

3 diagnostics cloud gratuits par jour

Questions fréquentes

Toutes les GPUs ont NaN en même temps : panne matérielle ?

Non : la synchronisation AllReduce propage immédiatement une seule anomalie sur l'ensemble des cartes.

Pourquoi échoue-t-il toujours exactement au même step après reprise ?

Avec un DataLoader déterministe, le run retombe sur le même lot de données problématique.

Autres fiches GPU en français

Fiche technique complète en anglais:Consulter la référence anglaise

Essayez Denpex pendant 30 jours. GRATUIT.

Sans carte bancaire. Sans abonnement automatique. Vérifiez l'utilité de Denpex sur un incident que vous connaissez déjà.

Démarrer votre évaluation Team gratuite de 30 jours

Jusqu'à 50 diagnostics par jour pendant 30 jours. Vérifiez votre e-mail professionnel pour activer votre essai d'entreprise, rejouez un incident déjà résolu et comparez les preuves avec la cause confirmée par votre équipe.

Utilisez votre adresse d'entreprise, par exemple alex@votreentreprise.fr.

Qui est éligible ?

Tout domaine d'entreprise vérifié active l'évaluation Team gratuite de 30 jours (jusqu'à 50 diagnostics/jour), quel que soit votre hébergeur mail. En cas d'échec de vérification automatique, contactez support@denpex.com. Le diagnostic local dans l'extension éditeur ne nécessite aucun compte.

Vous utilisez une adresse personnelle (Gmail, Outlook, Orange) ou un cluster solo ? Créer un compte gratuit à 0 $ (sans e-mail pro) pour conserver 7 jours d'historique, ou envoyez un journal d'erreur pour une démonstration.