Inferencia H100 / H200 / B200 / RTX 5090
Caché KV OOM en vLLM, caída de EngineCore y memoria CUDA
Guía práctica para resolver No available memory for the cache blocks, EngineCore died, falta de /dev/shm y paralelismo tensorial.
Firmas frecuentes y primeros pasos de diagnóstico
| Firma de log | Clase de fallo | Significado | Primera comprobación | Ver más |
|---|---|---|---|---|
| ValueError: No available memory for the cache blocks | Falta de caché KV | Tras cargar pesos y CUDA Graph, la HBM libre no alcanza para max_model_len. | Validar TP, cuantización FP8 y longitud de contexto en /es/vram-calculator. | Ver detalle |
| RuntimeError: EngineCore encountered a fatal exception / died | Caída EngineCore | El subproceso vLLM falló por error CUDA, límite de /dev/shm o OOM en la RAM del host. | Revisar stderr del worker y dmesg Xid antes que el error HTTP 500. | Ver detalle |
| torch.OutOfMemoryError: CUDA out of memory | VRAM / Fragmentación | Pesos, activaciones, estados del optimizador o caché KV superan la HBM libre. | Comparar memoria reservada vs asignada, micro-lote y PYTORCH_CUDA_ALLOC_CONF. | Ver detalle |
| TensorRT-LLM / SGLang / vLLM fallo IPC o falta --ipc=host | Serving multi-GPU | Memoria compartida /dev/shm insuficiente en Docker/K8s o bloqueo P2P entre GPUs. | Consultar la guía de diagnóstico multi-GPU para vLLM, SGLang y TensorRT-LLM. | Ver guía |
Evidencia local que debes guardar antes de reiniciar
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1Diagnóstico por proveedor GPU en España, Europa y LATAM
España y LATAM H100 (NCCL / vLLM)
Timeouts NCCL, /dev/shm, Xid 79 y caché KV en producción
RunPod Multi-Nodo Watchdog
Aislar sockets bloqueados y rangos caídos en DDP/FSDP
Lambda Labs H100 InfiniBand
Errores mlx5 y caídas intermitentes de enlace IB
Todas las nubes GPU
Guías por proveedor en España, Europa, LATAM y EE. UU.
Herramientas GPU gratuitas sin salir del navegador
Preguntas frecuentes
¿Cómo corregir No available memory for the cache blocks?
Ajusta max_model_len, cuantización FP8 o el grado TP probando primero la memoria disponible en /es/vram-calculator.
¿Por qué muere EngineCore en producción multi-GPU?
Suele deberse a un límite bajo de /dev/shm, falta de --ipc=host o un fallo CUDA previo en un rango.
Plan gratuito de $0 y evaluación Team de 30 días (sin tarjeta · factura e IVA/NIF)
Abre tu cuenta gratuita de $0 con cualquier correo personal o corporativo. En planes de equipo, Stripe admite tarjetas empresariales, NIF/IVA y emisión de factura anual por transferencia.