InfiniBand / RoCEv2 / PyTorch DDP & FSDP
NCCL Watchdog-Timeout, ibv_poll_cq Error 12 & Root-Cause Rank
Finden Sie hinter gleichzeitigen WorkNCCL AllReduce-Timeouts den ersten ausgefallenen Knoten, RDMA-Linkfehler, Host-OOM oder unterbrochene Checkpoints.
Häufige Fehlersignaturen und erste Triage-Schritte
| Log-Signatur | Fehlerklasse | Bedeutung | Erste Prüfung | Details |
|---|---|---|---|---|
| Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE) | Folgesymptom | Gesunde Ranks warten auf einen bereits hängenden oder abgestürzten Nachbar-Rank. | Ersten Fehlerzeitstempel und WorkNCCL SeqNum über alle Ranks hinweg abgleichen. | Details öffnen |
| SIGKILL (exit 137) / Out of memory: Killed process (DataLoader) | Host-RAM-OOM | Der Linux Kernel OOM-Killer hat den Prozess wegen vollem System-RAM beendet, nicht GPU-VRAM. | dmesg oom-kill Zeilen, cgroup-Speicherlimit und num_workers prüfen. | Details öffnen |
| EOFError / RuntimeError: unexpected EOF in checkpoint shard | Checkpoint-Abbruch | Speicherung während eines Abbruchs oder I/O-Fehlers unvollständig auf Disk geschrieben. | Storage-Fehlerzeiten prüfen und kein Training von unvollständigen Shards starten. | Details öffnen |
| loss=nan / grad_norm=inf during mixed-precision step | Numerische Divergenz | Gradient-Overflow oder ungültige Werte auf einem Rank breiten sich per AllReduce aus. | Ersten NaN-Schritt, Loss-Scaler und Batch-Normalisierung je Rank kontrollieren. | Details öffnen |
| Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded) | RDMA / InfiniBand | Physischer Linkfehler, Optik-Störung oder RoCEv2-Stau am mlx5-Port eines Knotens. | Hostname und mlx5-Port sichern und anhand der Deutschland-Cloud-Anleitung isolieren. | Cloud-Guide |
Diagnose-Befehle vor jedem Neustart sichern
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1GPU-Cloud-Diagnose für DACH und Europa
Kostenlose Browser-Tools ohne Log-Upload
Häufige Fragen
Ist der zuerst protokollierte Rank-0-Timeout die Ursache?
Meist nein. Gesunde Ranks warten bis zum Watchdog-Limit auf einen ausgefallenen Peer. Entscheidend sind frühere Tracebacks und SeqNum.
Wie unterscheidet man RDMA-Hardwarefehler von Netzwerkkonfiguration?
Wiederkehrende ibv_poll_cq error 12 deuten auf physische mlx5/Optik-Probleme; Socket-Timeouts auf NCCL_SOCKET_IFNAME oder Firewall.
$0 Free-Tarif & 30-Tage-Team-Evaluation (ohne Kreditkarte · Rechnung & USt-IdNr.)
Starten Sie mit beliebiger E-Mail-Adresse (inkl. privater Postfächer) im $0-Tarif lokal im Browser oder Editor. Für Team-Abonnements unterstützt Stripe Firmenkarten, USt-IdNr.-Erfassung und jährliche Rechnungsstellung.