Skip to content

InfiniBand / RoCEv2 / PyTorch DDP & FSDP

NCCL Watchdog-Timeout, ibv_poll_cq Error 12 & Root-Cause Rank

Finden Sie hinter gleichzeitigen WorkNCCL AllReduce-Timeouts den ersten ausgefallenen Knoten, RDMA-Linkfehler, Host-OOM oder unterbrochene Checkpoints.

Häufige Fehlersignaturen und erste Triage-Schritte

Log-SignaturFehlerklasseBedeutungErste PrüfungDetails
Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE)FolgesymptomGesunde Ranks warten auf einen bereits hängenden oder abgestürzten Nachbar-Rank.Ersten Fehlerzeitstempel und WorkNCCL SeqNum über alle Ranks hinweg abgleichen.Details öffnen
SIGKILL (exit 137) / Out of memory: Killed process (DataLoader)Host-RAM-OOMDer Linux Kernel OOM-Killer hat den Prozess wegen vollem System-RAM beendet, nicht GPU-VRAM.dmesg oom-kill Zeilen, cgroup-Speicherlimit und num_workers prüfen.Details öffnen
EOFError / RuntimeError: unexpected EOF in checkpoint shardCheckpoint-AbbruchSpeicherung während eines Abbruchs oder I/O-Fehlers unvollständig auf Disk geschrieben.Storage-Fehlerzeiten prüfen und kein Training von unvollständigen Shards starten.Details öffnen
loss=nan / grad_norm=inf during mixed-precision stepNumerische DivergenzGradient-Overflow oder ungültige Werte auf einem Rank breiten sich per AllReduce aus.Ersten NaN-Schritt, Loss-Scaler und Batch-Normalisierung je Rank kontrollieren.Details öffnen
Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded)RDMA / InfiniBandPhysischer Linkfehler, Optik-Störung oder RoCEv2-Stau am mlx5-Port eines Knotens.Hostname und mlx5-Port sichern und anhand der Deutschland-Cloud-Anleitung isolieren.Cloud-Guide

Diagnose-Befehle vor jedem Neustart sichern

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

GPU-Cloud-Diagnose für DACH und Europa

Kostenlose Browser-Tools ohne Log-Upload

Häufige Fragen

Ist der zuerst protokollierte Rank-0-Timeout die Ursache?

Meist nein. Gesunde Ranks warten bis zum Watchdog-Limit auf einen ausgefallenen Peer. Entscheidend sind frühere Tracebacks und SeqNum.

Wie unterscheidet man RDMA-Hardwarefehler von Netzwerkkonfiguration?

Wiederkehrende ibv_poll_cq error 12 deuten auf physische mlx5/Optik-Probleme; Socket-Timeouts auf NCCL_SOCKET_IFNAME oder Firewall.

$0 Free-Tarif & 30-Tage-Team-Evaluation (ohne Kreditkarte · Rechnung & USt-IdNr.)

Starten Sie mit beliebiger E-Mail-Adresse (inkl. privater Postfächer) im $0-Tarif lokal im Browser oder Editor. Für Team-Abonnements unterstützt Stripe Firmenkarten, USt-IdNr.-Erfassung und jährliche Rechnungsstellung.