CUDA out of memory (GPU VRAM-Engpass & Fragmentierung)
CUDA out of memory tritt entweder durch echten HBM-Mangel auf oder weil der PyTorch Caching Allocator keinen zusammenhängenden Block mehr findet.
Typische Log-Signatur
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 79.15 GiB total capacity; 75.80 GiB already allocated; 1.12 GiB free)Ursache und Abgrenzung zu Folgesymptomen
Liegt `allocated` im Traceback deutlich unter der GPU-Größe, während `reserved` am Limit steht, liegt Fragmentierung vor. Steigen beide Werte ans Limit, überschreiten Aktivierungen, Gewichte oder KV-Cache den Speicher.
Diagnose-Befehle vor einem Neustart ausführen
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
export PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True,max_split_size_mb:128"
python3 -c "import torch; print(torch.cuda.memory_summary())"Sichere Triage und Behebung
- Differenz zwischen `already allocated` und `reserved in total by PyTorch` im Traceback auswerten.
- Bei hoher Differenz `PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True` aktivieren.
- Bei echtem Kapazitätsmangel Activation Checkpointing, kleineren Micro-Batch oder mehr TP/FSDP-Shards nutzen.
Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen
Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.
Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.
Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.
Häufige Fragen
Warum meldet PyTorch OOM trotz freiem Speicher in nvidia-smi?
Bereits reservierte Blöcke können intern stark fragmentiert sein, oder ein zweiter Prozess auf demselben Host belegt parallel HBM.
Wie berechne ich den VRAM-Bedarf vor dem Job-Start?
Mit dem kostenlosen LLM VRAM-Rechner unter /de/vram-calculator lassen sich Gewichte und KV-Cache pro Kontextlänge vorab bestimmen.
Weitere deutsche GPU-Fehler-Leitfäden
Denpex 30 Tage testen. KOSTENLOS.
Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.
Kostenlose 30-tägige Team-Testphase starten
Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.