vLLM KV cache insuficiente (No available memory for the cache blocks)
Após carregar pesos e capturar o CUDA Graph, não sobrou HBM suficiente para os blocos KV necessários ao `max_model_len` configurado.
Assinatura típica no log
ValueError: No available memory for the cache blocks. Try increasing gpu_memory_utilization when initializing the engine.Causa raiz e diferenciação de cascatas
Contexto configurado acima da folga de memória, Tensor Parallelism baixo ou outro processo ocupando a mesma GPU.
Comandos de evidência antes de reiniciar
nvidia-smi --query-gpu=index,memory.used,memory.free,memory.total --format=csv
python3 -m vllm.entrypoints.openai.api_server --model <MODEL> --tensor-parallel-size 4 --gpu-memory-utilization 0.92 --max-model-len 16384 --kv-cache-dtype fp8Passos seguros de triagem e correção
- Validar com `nvidia-smi` se não há processos antigos presos usando a GPU.
- Simular pesos e cache KV em `/pt/vram-calculator` para seu contexto e quantização.
- Elevar `--tensor-parallel-size`, reduzir `--max-model-len`, usar `--kv-cache-dtype fp8` ou ajustar `--gpu-memory-utilization 0.92`.
Analise seu log de GPU grátis para achar o primeiro erro
Endereços IP, chaves e caminhos locais são mascarados no seu navegador.
Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.
Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.
Perguntas frequentes
Por que falha se os pesos cabem com folga na placa?
O vLLM precisa reservar memória para CUDA Graph, ativações e ao menos uma sequência inteira em blocos KV.
`--enforce-eager` ajuda a iniciar?
Sim, economiza a memória do CUDA Graph para validar a configuração, podendo reduzir a vazão em produção.
Outros guias de falhas GPU em português
Experimente o Denpex por 30 dias. GRÁTIS.
Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.
Inicie sua avaliação Team gratuita de 30 dias
Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.