Skip to content
System-RAM / cgroup OOM

Host-RAM OOM-Killer (SIGKILL / exit 137) Triage

Nicht die GPU war voll, sondern der Arbeitsspeicher des Host-Servers bzw. das cgroup-Limit; der Linux-Kernel hat den Prozess mit `SIGKILL` beendet.

Typische Log-Signatur

torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kB

Ursache und Abgrenzung zu Folgesymptomen

Zu viele `DataLoader`-Worker mit Copy-on-Write-Zuwachs, gleichzeitiges CPU-Laden großer Checkpoints pro Rank oder zu viel `pin_memory`.

Diagnose-Befehle vor einem Neustart ausführen

dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMem

Sichere Triage und Behebung

  1. Anhand von `dmesg -T | grep -i oom-kill` und `sacct` MaxRSS eindeutig Host-RAM-Erschöpfung nachweisen.
  2. Checkpoints nur auf Rank 0 laden oder direkt sharded einlesen statt N-fach im RAM zu duplizieren.
  3. `num_workers`, `prefetch_factor` und Container-Speicherlimits passend dimensionieren.
Live-Diagnose ohne Login

Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen

Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.

Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.

training_logs.txt
Kein eigenes Log zur Hand? Beispiel auswählen:

Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.

3 kostenlose Cloud-Diagnosen pro Tag

Häufige Fragen

Warum endet mein Job mit exit 137, obwohl VRAM halb leer ist?

Exit-Code 137 bedeutet Kernel `SIGKILL` wegen vollem CPU-Arbeitsspeicher oder erreichtem cgroup RAM-Limit.

Löst so ein Host-OOM bei anderen Nodes NCCL Timeouts aus?

Ja. Stirbt ein Rank per `SIGKILL`, warten die verbleibenden Nodes im `ALLREDUCE`, bis ihr NCCL Watchdog zuschlägt.

Weitere deutsche GPU-Fehler-Leitfäden

Vollständiger englischer Facheintrag:Englische Referenz öffnen

Denpex 30 Tage testen. KOSTENLOS.

Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.

Kostenlose 30-tägige Team-Testphase starten

Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.

Verwenden Sie Ihre Firmen-E-Mail, zum Beispiel alex@ihrunternehmen.de.

Wer ist berechtigt?

Unternehmensdomains aktivieren nach E-Mail- und Domainprüfung automatisch die 30-tägige Team-Testphase (bis zu 50 Diagnosen täglich). Falls die automatische Prüfung fehlschlägt, hilft support@denpex.com. Lokale Diagnosen in der IDE-Erweiterung benötigen kein Konto.

Nutzen Sie eine private Adresse (Gmail, Outlook, GMX) oder ein Einzel-Cluster? Kostenloses $0-Konto erstellen (ohne Firmen-E-Mail), um 7 Tage Verlauf zu speichern, oder senden Sie ein Cluster-Crash-Log für eine Live-Analyse.