Skip to content
GPU-VRAM / Allokator-Fragmentierung

CUDA out of memory (GPU VRAM-Engpass & Fragmentierung)

CUDA out of memory tritt entweder durch echten HBM-Mangel auf oder weil der PyTorch Caching Allocator keinen zusammenhängenden Block mehr findet.

Typische Log-Signatur

torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 79.15 GiB total capacity; 75.80 GiB already allocated; 1.12 GiB free)

Ursache und Abgrenzung zu Folgesymptomen

Liegt `allocated` im Traceback deutlich unter der GPU-Größe, während `reserved` am Limit steht, liegt Fragmentierung vor. Steigen beide Werte ans Limit, überschreiten Aktivierungen, Gewichte oder KV-Cache den Speicher.

Diagnose-Befehle vor einem Neustart ausführen

nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
export PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True,max_split_size_mb:128"
python3 -c "import torch; print(torch.cuda.memory_summary())"

Sichere Triage und Behebung

  1. Differenz zwischen `already allocated` und `reserved in total by PyTorch` im Traceback auswerten.
  2. Bei hoher Differenz `PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True` aktivieren.
  3. Bei echtem Kapazitätsmangel Activation Checkpointing, kleineren Micro-Batch oder mehr TP/FSDP-Shards nutzen.
Live-Diagnose ohne Login

Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen

Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.

Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.

training_logs.txt
Kein eigenes Log zur Hand? Beispiel auswählen:

Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.

3 kostenlose Cloud-Diagnosen pro Tag

Häufige Fragen

Warum meldet PyTorch OOM trotz freiem Speicher in nvidia-smi?

Bereits reservierte Blöcke können intern stark fragmentiert sein, oder ein zweiter Prozess auf demselben Host belegt parallel HBM.

Wie berechne ich den VRAM-Bedarf vor dem Job-Start?

Mit dem kostenlosen LLM VRAM-Rechner unter /de/vram-calculator lassen sich Gewichte und KV-Cache pro Kontextlänge vorab bestimmen.

Weitere deutsche GPU-Fehler-Leitfäden

Vollständiger englischer Facheintrag:Englische Referenz öffnen

Denpex 30 Tage testen. KOSTENLOS.

Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.

Kostenlose 30-tägige Team-Testphase starten

Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.

Verwenden Sie Ihre Firmen-E-Mail, zum Beispiel alex@ihrunternehmen.de.

Wer ist berechtigt?

Unternehmensdomains aktivieren nach E-Mail- und Domainprüfung automatisch die 30-tägige Team-Testphase (bis zu 50 Diagnosen täglich). Falls die automatische Prüfung fehlschlägt, hilft support@denpex.com. Lokale Diagnosen in der IDE-Erweiterung benötigen kein Konto.

Nutzen Sie eine private Adresse (Gmail, Outlook, GMX) oder ein Einzel-Cluster? Kostenloses $0-Konto erstellen (ohne Firmen-E-Mail), um 7 Tage Verlauf zu speichern, oder senden Sie ein Cluster-Crash-Log für eine Live-Analyse.