vLLM caché KV insuficiente (No available memory for the cache blocks)
Tras cargar pesos y capturar CUDA Graph no queda HBM suficiente para asignar los bloques KV exigidos por `max_model_len`.
Firma característica del error
ValueError: No available memory for the cache blocks. Try increasing gpu_memory_utilization when initializing the engine.Causa raíz frente a síntomas secundarios
Longitud máxima excesiva para la memoria libre, paralelismo tensorial insuficiente o procesos residuales consumiendo GPU.
Comandos de evidencia antes de reiniciar
nvidia-smi --query-gpu=index,memory.used,memory.free,memory.total --format=csv
python3 -m vllm.entrypoints.openai.api_server --model <MODEL> --tensor-parallel-size 4 --gpu-memory-utilization 0.92 --max-model-len 16384 --kv-cache-dtype fp8Pasos seguros de diagnóstico y solución
- Comprobar con `nvidia-smi` que ningún contenedor anterior retenga memoria.
- Validar en `/es/vram-calculator` el peso y consumo KV por longitud de contexto.
- Subir `--tensor-parallel-size`, acortar `--max-model-len`, activar `--kv-cache-dtype fp8` o ajustar `--gpu-memory-utilization 0.92`.
Analiza gratis tu log de GPU para detectar el fallo inicial
Los valores sensibles se enmascaran en tu navegador antes del envío.
Revisa antes de subir: gestión de datos en la nube y opción 100 % local.
Los archivos grandes se condensan en tu navegador. Solo la evidencia seleccionada se envía al diagnosticar.
Preguntas frecuentes
¿Por qué falla si los pesos caben sobrados en la GPU?
vLLM reserva además espacio de CUDA Graph, activaciones intermedias y bloques KV para al menos una petición completa.
¿Ayuda añadir `--enforce-eager`?
Libera memoria de CUDA Graphs para validar si el modelo arranca, aunque puede reducir el rendimiento final.
Otros fallos frecuentes en español
Prueba Denpex por 30 días. GRATIS.
Sin tarjeta de crédito. Sin suscripción automática. Comprueba si Denpex ayuda con un incidente que ya conoces.
Inicia tu evaluación Team gratuita de 30 días
Hasta 50 diagnósticos diarios durante 30 días. Verifica tu correo laboral para activar una evaluación empresarial elegible, reproduce un incidente resuelto y compara la evidencia con la causa confirmada por tu equipo.