Skip to content

Inferência H100 / H200 / B200 / RTX 5090

KV Cache OOM no vLLM, EngineCore morreu e limites CUDA

Diagnostique No available memory for the cache blocks, EngineCore died, falta de /dev/shm e ajuste de Tensor Parallelism.

Assinaturas frequentes e triagem inicial

Assinatura do logClasse de falhaSignificadoPrimeira verificaçãoAbrir
ValueError: No available memory for the cache blocksCapacidade KV CacheApós carregar pesos e CUDA Graph, não sobra HBM suficiente para o max_model_len pedido.Simular TP, quantização FP8 e contexto máximo em /pt/vram-calculator.Ver detalhes
RuntimeError: EngineCore encountered a fatal exception / diedFalha no worker vLLMSubprocesso EngineCore encerrou por exceção CUDA, falta de /dev/shm ou OOM no host.Analisar stderr do worker e dmesg Xid em vez de apenas o erro HTTP 500.Ver detalhes
torch.OutOfMemoryError: CUDA out of memoryVRAM / FragmentaçãoPesos, estados do otimizador, ativações ou cache KV ultrapassam a HBM livre.Comparar memória reservada vs alocada, micro-batch e PYTORCH_CUDA_ALLOC_CONF.Ver detalhes
TensorRT-LLM / SGLang / vLLM falha IPC ou --ipc=host ausenteServing multi-GPUTamanho limitado de /dev/shm no container ou bloqueio P2P entre placas GPU.Seguir o guia unificado multi-GPU para vLLM, SGLang e TensorRT-LLM.Ver guia

Evidências para preservar antes de reiniciar o nó

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

Triagem por nuvem GPU no Brasil, Portugal e LATAM

Ferramentas GPU gratuitas direto no navegador

Perguntas frequentes

Como resolver No available memory for the cache blocks?

Simule FP8, tamanho de contexto e paralelismo tensorial em /pt/vram-calculator antes de subir o servidor.

Por que o EngineCore fecha no meio da execução?

Causas comuns incluem /dev/shm curto em container, falta de --ipc=host ou exceção CUDA silenciosa em um worker.

Plano gratuito de $0 e avaliação Team de 30 dias (sem cartão · fatura corporativa)

Qualquer e-mail pessoal ou corporativo pode criar uma conta gratuita de $0. Para times em produção, o checkout Stripe aceita cartões corporativos, registro fiscal (CNPJ/NIF) e fatura anual.