Skip to content

Inferencia H100 / H200 / B200 / RTX 5090

Caché KV OOM en vLLM, caída de EngineCore y memoria CUDA

Guía práctica para resolver No available memory for the cache blocks, EngineCore died, falta de /dev/shm y paralelismo tensorial.

Firmas frecuentes y primeros pasos de diagnóstico

Firma de logClase de falloSignificadoPrimera comprobaciónVer más
ValueError: No available memory for the cache blocksFalta de caché KVTras cargar pesos y CUDA Graph, la HBM libre no alcanza para max_model_len.Validar TP, cuantización FP8 y longitud de contexto en /es/vram-calculator.Ver detalle
RuntimeError: EngineCore encountered a fatal exception / diedCaída EngineCoreEl subproceso vLLM falló por error CUDA, límite de /dev/shm o OOM en la RAM del host.Revisar stderr del worker y dmesg Xid antes que el error HTTP 500.Ver detalle
torch.OutOfMemoryError: CUDA out of memoryVRAM / FragmentaciónPesos, activaciones, estados del optimizador o caché KV superan la HBM libre.Comparar memoria reservada vs asignada, micro-lote y PYTORCH_CUDA_ALLOC_CONF.Ver detalle
TensorRT-LLM / SGLang / vLLM fallo IPC o falta --ipc=hostServing multi-GPUMemoria compartida /dev/shm insuficiente en Docker/K8s o bloqueo P2P entre GPUs.Consultar la guía de diagnóstico multi-GPU para vLLM, SGLang y TensorRT-LLM.Ver guía

Evidencia local que debes guardar antes de reiniciar

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

Diagnóstico por proveedor GPU en España, Europa y LATAM

Herramientas GPU gratuitas sin salir del navegador

Preguntas frecuentes

¿Cómo corregir No available memory for the cache blocks?

Ajusta max_model_len, cuantización FP8 o el grado TP probando primero la memoria disponible en /es/vram-calculator.

¿Por qué muere EngineCore en producción multi-GPU?

Suele deberse a un límite bajo de /dev/shm, falta de --ipc=host o un fallo CUDA previo en un rango.

Plan gratuito de $0 y evaluación Team de 30 días (sin tarjeta · factura e IVA/NIF)

Abre tu cuenta gratuita de $0 con cualquier correo personal o corporativo. En planes de equipo, Stripe admite tarjetas empresariales, NIF/IVA y emisión de factura anual por transferencia.