Host-RAM OOM-Killer (SIGKILL / exit 137) Triage
Nicht die GPU war voll, sondern der Arbeitsspeicher des Host-Servers bzw. das cgroup-Limit; der Linux-Kernel hat den Prozess mit `SIGKILL` beendet.
Typische Log-Signatur
torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kBUrsache und Abgrenzung zu Folgesymptomen
Zu viele `DataLoader`-Worker mit Copy-on-Write-Zuwachs, gleichzeitiges CPU-Laden großer Checkpoints pro Rank oder zu viel `pin_memory`.
Diagnose-Befehle vor einem Neustart ausführen
dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMemSichere Triage und Behebung
- Anhand von `dmesg -T | grep -i oom-kill` und `sacct` MaxRSS eindeutig Host-RAM-Erschöpfung nachweisen.
- Checkpoints nur auf Rank 0 laden oder direkt sharded einlesen statt N-fach im RAM zu duplizieren.
- `num_workers`, `prefetch_factor` und Container-Speicherlimits passend dimensionieren.
Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen
Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.
Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.
Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.
Häufige Fragen
Warum endet mein Job mit exit 137, obwohl VRAM halb leer ist?
Exit-Code 137 bedeutet Kernel `SIGKILL` wegen vollem CPU-Arbeitsspeicher oder erreichtem cgroup RAM-Limit.
Löst so ein Host-OOM bei anderen Nodes NCCL Timeouts aus?
Ja. Stirbt ein Rank per `SIGKILL`, warten die verbleibenden Nodes im `ALLREDUCE`, bis ihr NCCL Watchdog zuschlägt.
Weitere deutsche GPU-Fehler-Leitfäden
Denpex 30 Tage testen. KOSTENLOS.
Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.
Kostenlose 30-tägige Team-Testphase starten
Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.