vLLM KV-Cache voll (No available memory for the cache blocks)
Nach Gewichten und CUDA Graph bleibt nicht genug freies HBM für die benötigten KV-Cache-Blöcke der konfigurierten `max_model_len`.
Typische Log-Signatur
ValueError: No available memory for the cache blocks. Try increasing gpu_memory_utilization when initializing the engine.Ursache und Abgrenzung zu Folgesymptomen
Die gewählte Kontextlänge übersteigt den freien Speicher nach CUDA Graph Profiling oder es belegen bereits andere GPU-Prozesse Teile des VRAMs.
Diagnose-Befehle vor einem Neustart ausführen
nvidia-smi --query-gpu=index,memory.used,memory.free,memory.total --format=csv
python3 -m vllm.entrypoints.openai.api_server --model <MODEL> --tensor-parallel-size 4 --gpu-memory-utilization 0.92 --max-model-len 16384 --kv-cache-dtype fp8Sichere Triage und Behebung
- Mit `nvidia-smi` sicherstellen, dass kein verwaistes Python-Skript VRAM blockiert.
- Im `/de/vram-calculator` Modellgröße, TP-Grad und Zielkontext realistisch gegenprüfen.
- `--tensor-parallel-size` erhöhen, `--max-model-len` senken, `--kv-cache-dtype fp8` oder `--gpu-memory-utilization 0.92` testen.
Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen
Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.
Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.
Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.
Häufige Fragen
Warum scheitert vLLM, obwohl die reinen Gewichte kleiner als das VRAM sind?
vLLM reserviert zusätzlich Aktivierungs-Workspace, CUDA-Graph-Speicher und KV-Blöcke für mindestens eine volle Sequenz.
Wann hilft `--enforce-eager`?
Es spart CUDA-Graph-Speicher beim Start ein, kann aber den maximalen Durchsatz in Produktion reduzieren.
Weitere deutsche GPU-Fehler-Leitfäden
Denpex 30 Tage testen. KOSTENLOS.
Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.
Kostenlose 30-tägige Team-Testphase starten
Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.