NCCL Watchdog Timeout Diagnose und Root-Cause Rank
Der Rank, der den WorkNCCL-Timeout druckt, ist fast immer ein gesunder Teilnehmer, der vergeblich auf einen früher gestoppten Nachbar-Rank gewartet hat.
Typische Log-Signatur
[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 msUrsache und Abgrenzung zu Folgesymptomen
Ein vorheriger CUDA OOM, Host-RAM OOM-Killer (SIGKILL), Xid 79 Busverlust oder ein langsamer DataLoader blockiert eine `ALLREDUCE`-Barriere bis zum 600-Sekunden-Watchdog.
Diagnose-Befehle vor einem Neustart ausführen
export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"Sichere Triage und Behebung
- Logs aller Ranks nach UTC-Zeitstempeln sortieren und nach ersten Exceptions, SIGKILL oder Kernel-Xids vor dem Timeout suchen.
- `WorkNCCL(SeqNum=...)` vergleichen, um die exakt blockierte kollektive Operation einzugrenzen.
- Zwischen physischen RDMA-Fehlern (`ibv_poll_cq error 12`) und langsamer Datenvorbereitung trennen.
Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen
Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.
Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.
Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.
Häufige Fragen
Reicht es, das NCCL Timeout einfach hochzusetzen?
Nein. Ein längerer Watchdog verzögert nur das Erkennen eines bereits hängenden Workers. Nutzen Sie `TORCH_NCCL_DUMP_ON_TIMEOUT=1` zur Fehlersuche.
Ist Rank 0 schuld, wenn er als Erster den Timeout meldet?
Selten. Meist wartet Rank 0 als Koordinator auf einen anderen Rank, der leise abgestürzt ist.
Weitere deutsche GPU-Fehler-Leitfäden
Denpex 30 Tage testen. KOSTENLOS.
Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.
Kostenlose 30-tägige Team-Testphase starten
Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.