Skip to content

InfiniBand / RoCEv2 / PyTorch DDP & FSDP

Timeout Watchdog NCCL, ibv_poll_cq erreur 12 et rank coupable

Ne vous fiez pas au dernier timeout collectif : isolez le premier noeud en faute, les pertes RDMA mlx5, les OOM système ou checkpoints incomplets.

Signatures fréquentes et premier niveau de diagnostic

Signature logCatégorieSignificationPremier contrôleDétails
Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE)Symptôme secondaireLes ranks sains attendent un pair déjà bloqué ou terminé silencieusement.Comparer les premiers journaux d'exception et WorkNCCL SeqNum sur tous les ranks.Voir la fiche
SIGKILL (exit 137) / Out of memory: Killed process (DataLoader)OOM RAM hôteLe noyau Linux OOM-killer a tué le processus côté CPU, sans lien avec la VRAM GPU.Lire dmesg oom-kill, les limites cgroup et le nombre de workers DataLoader.Voir la fiche
EOFError / RuntimeError: unexpected EOF in checkpoint shardÉcriture interrompueUn fragment de checkpoint est tronqué suite à une préemption ou panne stockage.Vérifier les erreurs disque et ne pas reprendre l'entraînement sur des shards incomplets.Voir la fiche
loss=nan / grad_norm=inf during mixed-precision stepDivergence numériqueDébordement de gradient en BF16/FP16 ou données corrompues propagées via AllReduce.Isoler le premier pas NaN, la mise à l'échelle de perte et le batch incriminé.Voir la fiche
Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded)RDMA / InfiniBandPerte de lien physique ou dégradation optique sur port mlx5 (OVHcloud / Scaleway).Relever le nom d'hôte et l'index mlx5 selon le guide France GPU Clouds.Guide Cloud FR

Preuves locales à capturer avant redémarrage

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

Dépannage par fournisseur cloud GPU en France et Europe

Outils GPU gratuits dans votre navigateur

Questions fréquentes

Le rank qui lève le premier Watchdog timeout est-il fautif ?

Rarement. Les ranks encore actifs attendent un pair déjà tombé. Il faut recouper les exceptions antérieures et SeqNum.

Comment séparer panne matérielle InfiniBand et config réseau ?

ibv_poll_cq error 12 ciblé sur un port mlx5 signale un défaut lien/optique ; un échec socket vise NCCL_SOCKET_IFNAME.

Offre gratuite à 0 $ et évaluation Team 30 jours (sans carte · TVA et facture)

Créez un compte gratuit à 0 $ avec une adresse personnelle ou professionnelle. La facturation Team accepte les cartes d'entreprise avec numéro de TVA via Stripe ainsi que le paiement annuel sur facture.