InfiniBand / RoCEv2 / PyTorch DDP & FSDP
Timeout Watchdog NCCL, ibv_poll_cq erreur 12 et rank coupable
Ne vous fiez pas au dernier timeout collectif : isolez le premier noeud en faute, les pertes RDMA mlx5, les OOM système ou checkpoints incomplets.
Signatures fréquentes et premier niveau de diagnostic
| Signature log | Catégorie | Signification | Premier contrôle | Détails |
|---|---|---|---|---|
| Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE) | Symptôme secondaire | Les ranks sains attendent un pair déjà bloqué ou terminé silencieusement. | Comparer les premiers journaux d'exception et WorkNCCL SeqNum sur tous les ranks. | Voir la fiche |
| SIGKILL (exit 137) / Out of memory: Killed process (DataLoader) | OOM RAM hôte | Le noyau Linux OOM-killer a tué le processus côté CPU, sans lien avec la VRAM GPU. | Lire dmesg oom-kill, les limites cgroup et le nombre de workers DataLoader. | Voir la fiche |
| EOFError / RuntimeError: unexpected EOF in checkpoint shard | Écriture interrompue | Un fragment de checkpoint est tronqué suite à une préemption ou panne stockage. | Vérifier les erreurs disque et ne pas reprendre l'entraînement sur des shards incomplets. | Voir la fiche |
| loss=nan / grad_norm=inf during mixed-precision step | Divergence numérique | Débordement de gradient en BF16/FP16 ou données corrompues propagées via AllReduce. | Isoler le premier pas NaN, la mise à l'échelle de perte et le batch incriminé. | Voir la fiche |
| Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded) | RDMA / InfiniBand | Perte de lien physique ou dégradation optique sur port mlx5 (OVHcloud / Scaleway). | Relever le nom d'hôte et l'index mlx5 selon le guide France GPU Clouds. | Guide Cloud FR |
Preuves locales à capturer avant redémarrage
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1Dépannage par fournisseur cloud GPU en France et Europe
OVHcloud & Scaleway France H100
InfiniBand, RoCEv2, DeepSpeed et Xid 79 en France/UE
Scaleway H100 RoCE & DeepSpeed
Diagnostics DeepSpeed ZeRO et timeouts collectifs
Nebius Europe H100 / B200
Clusters européens InfiniBand NDR et Slurm
Tous les workflows clouds GPU
Comparer les diagnostics par fournisseur européen et mondial
Outils GPU gratuits dans votre navigateur
Questions fréquentes
Le rank qui lève le premier Watchdog timeout est-il fautif ?
Rarement. Les ranks encore actifs attendent un pair déjà tombé. Il faut recouper les exceptions antérieures et SeqNum.
Comment séparer panne matérielle InfiniBand et config réseau ?
ibv_poll_cq error 12 ciblé sur un port mlx5 signale un défaut lien/optique ; un échec socket vise NCCL_SOCKET_IFNAME.
Offre gratuite à 0 $ et évaluation Team 30 jours (sans carte · TVA et facture)
Créez un compte gratuit à 0 $ avec une adresse personnelle ou professionnelle. La facturation Team accepte les cartes d'entreprise avec numéro de TVA via Stripe ainsi que le paiement annuel sur facture.