Skip to content
Communication distribuée / Cascade

Diagnostic Timeout Watchdog NCCL et rank d'origine

Le processus qui lève le timeout WorkNCCL est presque toujours un survivant sain bloqué en attente d'un pair tombé plus tôt.

Signature typique dans les logs

[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 ms

Mécanisme réel et distinction des cascades

Un CUDA OOM, un OOM-killer système (SIGKILL), un Xid 79 ou un DataLoader ralenti bloque une barrière `ALLREDUCE` jusqu'au déclenchement du Watchdog.

Commandes de collecte avant redémarrage

export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"

Procédure de triage sécurisée

  1. Synchroniser les horodatages de tous les ranks pour trouver la première exception, SIGKILL ou Xid noyau.
  2. Comparer `WorkNCCL(SeqNum=...)` afin de repérer la collective commune figée.
  3. Séparer les pannes RDMA physiques (`ibv_poll_cq error 12`) des goulots logiciels.
Diagnostic en direct sans inscription

Tester gratuitement votre log GPU pour trouver le premier événement

Les adresses IP, clés et chemins privés sont masqués localement dans votre navigateur.

Consultez avant envoi : traitement cloud et exécution 100 % locale hors ligne.

training_logs.txt
Pas de log sous la main ? Choisissez un exemple :

Les fichiers volumineux sont condensés dans votre navigateur. Seules les preuves sélectionnées sont transmises au diagnostic.

3 diagnostics cloud gratuits par jour

Questions fréquentes

Augmenter le délai NCCL suffit-il à régler le problème ?

Non. Allonger le timeout ne fait qu'attendre plus longtemps un worker mort ; activez `TORCH_NCCL_DUMP_ON_TIMEOUT=1`.

Si le rank 0 affiche le premier timeout, est-il en panne ?

Généralement non : il attendait la réponse d'un autre rank silencieux.

Autres fiches GPU en français

Fiche technique complète en anglais:Consulter la référence anglaise

Essayez Denpex pendant 30 jours. GRATUIT.

Sans carte bancaire. Sans abonnement automatique. Vérifiez l'utilité de Denpex sur un incident que vous connaissez déjà.

Démarrer votre évaluation Team gratuite de 30 jours

Jusqu'à 50 diagnostics par jour pendant 30 jours. Vérifiez votre e-mail professionnel pour activer votre essai d'entreprise, rejouez un incident déjà résolu et comparez les preuves avec la cause confirmée par votre équipe.

Utilisez votre adresse d'entreprise, par exemple alex@votreentreprise.fr.

Qui est éligible ?

Tout domaine d'entreprise vérifié active l'évaluation Team gratuite de 30 jours (jusqu'à 50 diagnostics/jour), quel que soit votre hébergeur mail. En cas d'échec de vérification automatique, contactez support@denpex.com. Le diagnostic local dans l'extension éditeur ne nécessite aucun compte.

Vous utilisez une adresse personnelle (Gmail, Outlook, Orange) ou un cluster solo ? Créer un compte gratuit à 0 $ (sans e-mail pro) pour conserver 7 jours d'historique, ou envoyez un journal d'erreur pour une démonstration.