Skip to content

H100 / H200 / B200 / RTX 5090 Inferenz-Triage

vLLM KV-Cache OOM, EngineCore-Absturz & CUDA Memory Triage

Sofortige Ursachenanalyse für No available memory for the cache blocks, EngineCore died, zu kleines /dev/shm und Tensor-Parallelismus-Fehler.

Häufige Fehlersignaturen und erste Triage-Schritte

Log-SignaturFehlerklasseBedeutungErste PrüfungDetails
ValueError: No available memory for the cache blocksKV-Cache-KapazitätNach Modellgewichten und CUDA Graph bleibt zu wenig freier HBM für max_model_len übrig.Tensor-Parallelität (TP), FP8-Quantisierung und max_model_len im /de/vram-calculator prüfen.Details öffnen
RuntimeError: EngineCore encountered a fatal exception / diedWorker-AbsturzDer vLLM EngineCore Subprozess wurde durch einen CUDA-Fehler, /dev/shm-Limit oder Host-OOM beendet.Worker-Stderr-Protokolle und Kernel-dmesg Xid statt nur HTTP 500 auswerten.Details öffnen
torch.OutOfMemoryError: CUDA out of memoryGPU-VRAM / FragmentierungGewichte, Aktivierungen, Optimizer oder KV-Blöcke überschreiten den verfügbaren GPU-Speicher.Reserved vs. allocated Speicher, Microbatch und PYTORCH_CUDA_ALLOC_CONF prüfen.Details öffnen
TensorRT-LLM / SGLang / vLLM Multi-GPU IPC oder /dev/shm FehlerServing-KonfigurationZu kleines /dev/shm im Container, fehlendes --ipc=host oder P2P-Zugriffssperren im Cluster.Multi-GPU Serving Triage Guide und Container-Flags vergleichen.Leitfaden öffnen

Diagnose-Befehle vor jedem Neustart sichern

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

GPU-Cloud-Diagnose für DACH und Europa

Kostenlose Browser-Tools ohne Log-Upload

Häufige Fragen

Was tun bei No available memory for the cache blocks?

Nach Gewichten und CUDA Graph fehlt HBM für den KV-Cache. Prüfen Sie TP-Grad, FP8 und max_model_len im /de/vram-calculator.

Warum stürzt EngineCore in Containern unter Last ab?

Häufig durch fehlendes --ipc=host, begrenztes /dev/shm oder eine unerkannte CUDA- bzw. Host-OOM-Ausnahme im Worker.

$0 Free-Tarif & 30-Tage-Team-Evaluation (ohne Kreditkarte · Rechnung & USt-IdNr.)

Starten Sie mit beliebiger E-Mail-Adresse (inkl. privater Postfächer) im $0-Tarif lokal im Browser oder Editor. Für Team-Abonnements unterstützt Stripe Firmenkarten, USt-IdNr.-Erfassung und jährliche Rechnungsstellung.