Skip to content
vLLM Speicherplanung

vLLM KV-Cache voll (No available memory for the cache blocks)

Nach Gewichten und CUDA Graph bleibt nicht genug freies HBM für die benötigten KV-Cache-Blöcke der konfigurierten `max_model_len`.

Typische Log-Signatur

ValueError: No available memory for the cache blocks. Try increasing gpu_memory_utilization when initializing the engine.

Ursache und Abgrenzung zu Folgesymptomen

Die gewählte Kontextlänge übersteigt den freien Speicher nach CUDA Graph Profiling oder es belegen bereits andere GPU-Prozesse Teile des VRAMs.

Diagnose-Befehle vor einem Neustart ausführen

nvidia-smi --query-gpu=index,memory.used,memory.free,memory.total --format=csv
python3 -m vllm.entrypoints.openai.api_server --model <MODEL> --tensor-parallel-size 4 --gpu-memory-utilization 0.92 --max-model-len 16384 --kv-cache-dtype fp8

Sichere Triage und Behebung

  1. Mit `nvidia-smi` sicherstellen, dass kein verwaistes Python-Skript VRAM blockiert.
  2. Im `/de/vram-calculator` Modellgröße, TP-Grad und Zielkontext realistisch gegenprüfen.
  3. `--tensor-parallel-size` erhöhen, `--max-model-len` senken, `--kv-cache-dtype fp8` oder `--gpu-memory-utilization 0.92` testen.
Live-Diagnose ohne Login

Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen

Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.

Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.

training_logs.txt
Kein eigenes Log zur Hand? Beispiel auswählen:

Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.

3 kostenlose Cloud-Diagnosen pro Tag

Häufige Fragen

Warum scheitert vLLM, obwohl die reinen Gewichte kleiner als das VRAM sind?

vLLM reserviert zusätzlich Aktivierungs-Workspace, CUDA-Graph-Speicher und KV-Blöcke für mindestens eine volle Sequenz.

Wann hilft `--enforce-eager`?

Es spart CUDA-Graph-Speicher beim Start ein, kann aber den maximalen Durchsatz in Produktion reduzieren.

Weitere deutsche GPU-Fehler-Leitfäden

Vollständiger englischer Facheintrag:Englische Referenz öffnen

Denpex 30 Tage testen. KOSTENLOS.

Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.

Kostenlose 30-tägige Team-Testphase starten

Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.

Verwenden Sie Ihre Firmen-E-Mail, zum Beispiel alex@ihrunternehmen.de.

Wer ist berechtigt?

Unternehmensdomains aktivieren nach E-Mail- und Domainprüfung automatisch die 30-tägige Team-Testphase (bis zu 50 Diagnosen täglich). Falls die automatische Prüfung fehlschlägt, hilft support@denpex.com. Lokale Diagnosen in der IDE-Erweiterung benötigen kein Konto.

Nutzen Sie eine private Adresse (Gmail, Outlook, GMX) oder ein Einzel-Cluster? Kostenloses $0-Konto erstellen (ohne Firmen-E-Mail), um 7 Tage Verlauf zu speichern, oder senden Sie ein Cluster-Crash-Log für eine Live-Analyse.