Skip to content
Capacidade de cache KV no vLLM

vLLM KV cache insuficiente (No available memory for the cache blocks)

Após carregar pesos e capturar o CUDA Graph, não sobrou HBM suficiente para os blocos KV necessários ao `max_model_len` configurado.

Assinatura típica no log

ValueError: No available memory for the cache blocks. Try increasing gpu_memory_utilization when initializing the engine.

Causa raiz e diferenciação de cascatas

Contexto configurado acima da folga de memória, Tensor Parallelism baixo ou outro processo ocupando a mesma GPU.

Comandos de evidência antes de reiniciar

nvidia-smi --query-gpu=index,memory.used,memory.free,memory.total --format=csv
python3 -m vllm.entrypoints.openai.api_server --model <MODEL> --tensor-parallel-size 4 --gpu-memory-utilization 0.92 --max-model-len 16384 --kv-cache-dtype fp8

Passos seguros de triagem e correção

  1. Validar com `nvidia-smi` se não há processos antigos presos usando a GPU.
  2. Simular pesos e cache KV em `/pt/vram-calculator` para seu contexto e quantização.
  3. Elevar `--tensor-parallel-size`, reduzir `--max-model-len`, usar `--kv-cache-dtype fp8` ou ajustar `--gpu-memory-utilization 0.92`.
Diagnóstico ao vivo sem cadastro

Analise seu log de GPU grátis para achar o primeiro erro

Endereços IP, chaves e caminhos locais são mascarados no seu navegador.

Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.

training_logs.txt
Não tem um log à mão? Escolha um exemplo:

Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.

3 diagnósticos em nuvem grátis por dia

Perguntas frequentes

Por que falha se os pesos cabem com folga na placa?

O vLLM precisa reservar memória para CUDA Graph, ativações e ao menos uma sequência inteira em blocos KV.

`--enforce-eager` ajuda a iniciar?

Sim, economiza a memória do CUDA Graph para validar a configuração, podendo reduzir a vazão em produção.

Outros guias de falhas GPU em português

Documentação técnica completa em inglês:Abrir referência completa em inglês

Experimente o Denpex por 30 dias. GRÁTIS.

Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.

Inicie sua avaliação Team gratuita de 30 dias

Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.

Use seu e-mail da empresa, por exemplo alex@suaempresa.com.

Quem é elegível?

Domínios corporativos ativam a avaliação gratuita de 30 dias após a verificação do e-mail e domínio. Se a validação automática falhar, fale com support@denpex.com. O diagnóstico local na extensão do editor dispensa conta.

Usando e-mail pessoal (Gmail, Outlook) ou cluster solo? Criar conta gratuita de $0 (não exige e-mail corporativo) para salvar histórico de 7 dias, ou envie um log de falha para demonstração ao vivo.