H100 / H200 / B200 / RTX 5090 Inferenz-Triage
vLLM KV-Cache OOM, EngineCore-Absturz & CUDA Memory Triage
Sofortige Ursachenanalyse für No available memory for the cache blocks, EngineCore died, zu kleines /dev/shm und Tensor-Parallelismus-Fehler.
Häufige Fehlersignaturen und erste Triage-Schritte
| Log-Signatur | Fehlerklasse | Bedeutung | Erste Prüfung | Details |
|---|---|---|---|---|
| ValueError: No available memory for the cache blocks | KV-Cache-Kapazität | Nach Modellgewichten und CUDA Graph bleibt zu wenig freier HBM für max_model_len übrig. | Tensor-Parallelität (TP), FP8-Quantisierung und max_model_len im /de/vram-calculator prüfen. | Details öffnen |
| RuntimeError: EngineCore encountered a fatal exception / died | Worker-Absturz | Der vLLM EngineCore Subprozess wurde durch einen CUDA-Fehler, /dev/shm-Limit oder Host-OOM beendet. | Worker-Stderr-Protokolle und Kernel-dmesg Xid statt nur HTTP 500 auswerten. | Details öffnen |
| torch.OutOfMemoryError: CUDA out of memory | GPU-VRAM / Fragmentierung | Gewichte, Aktivierungen, Optimizer oder KV-Blöcke überschreiten den verfügbaren GPU-Speicher. | Reserved vs. allocated Speicher, Microbatch und PYTORCH_CUDA_ALLOC_CONF prüfen. | Details öffnen |
| TensorRT-LLM / SGLang / vLLM Multi-GPU IPC oder /dev/shm Fehler | Serving-Konfiguration | Zu kleines /dev/shm im Container, fehlendes --ipc=host oder P2P-Zugriffssperren im Cluster. | Multi-GPU Serving Triage Guide und Container-Flags vergleichen. | Leitfaden öffnen |
Diagnose-Befehle vor jedem Neustart sichern
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1GPU-Cloud-Diagnose für DACH und Europa
Kostenlose Browser-Tools ohne Log-Upload
Häufige Fragen
Was tun bei No available memory for the cache blocks?
Nach Gewichten und CUDA Graph fehlt HBM für den KV-Cache. Prüfen Sie TP-Grad, FP8 und max_model_len im /de/vram-calculator.
Warum stürzt EngineCore in Containern unter Last ab?
Häufig durch fehlendes --ipc=host, begrenztes /dev/shm oder eine unerkannte CUDA- bzw. Host-OOM-Ausnahme im Worker.
$0 Free-Tarif & 30-Tage-Team-Evaluation (ohne Kreditkarte · Rechnung & USt-IdNr.)
Starten Sie mit beliebiger E-Mail-Adresse (inkl. privater Postfächer) im $0-Tarif lokal im Browser oder Editor. Für Team-Abonnements unterstützt Stripe Firmenkarten, USt-IdNr.-Erfassung und jährliche Rechnungsstellung.