Inferência H100 / H200 / B200 / RTX 5090
KV Cache OOM no vLLM, EngineCore morreu e limites CUDA
Diagnostique No available memory for the cache blocks, EngineCore died, falta de /dev/shm e ajuste de Tensor Parallelism.
Assinaturas frequentes e triagem inicial
| Assinatura do log | Classe de falha | Significado | Primeira verificação | Abrir |
|---|---|---|---|---|
| ValueError: No available memory for the cache blocks | Capacidade KV Cache | Após carregar pesos e CUDA Graph, não sobra HBM suficiente para o max_model_len pedido. | Simular TP, quantização FP8 e contexto máximo em /pt/vram-calculator. | Ver detalhes |
| RuntimeError: EngineCore encountered a fatal exception / died | Falha no worker vLLM | Subprocesso EngineCore encerrou por exceção CUDA, falta de /dev/shm ou OOM no host. | Analisar stderr do worker e dmesg Xid em vez de apenas o erro HTTP 500. | Ver detalhes |
| torch.OutOfMemoryError: CUDA out of memory | VRAM / Fragmentação | Pesos, estados do otimizador, ativações ou cache KV ultrapassam a HBM livre. | Comparar memória reservada vs alocada, micro-batch e PYTORCH_CUDA_ALLOC_CONF. | Ver detalhes |
| TensorRT-LLM / SGLang / vLLM falha IPC ou --ipc=host ausente | Serving multi-GPU | Tamanho limitado de /dev/shm no container ou bloqueio P2P entre placas GPU. | Seguir o guia unificado multi-GPU para vLLM, SGLang e TensorRT-LLM. | Ver guia |
Evidências para preservar antes de reiniciar o nó
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1Triagem por nuvem GPU no Brasil, Portugal e LATAM
Brasil e LATAM H100 (NCCL / OOM)
CUDA OOM, NCCL Watchdog, Xid 79 e vLLM em clusters locais
RunPod Multi-Node Watchdog
Separar rank lento de falhas de rede DDP e FSDP
CoreWeave Kubernetes Xid 79
Preservar evidências Xid e NVLink antes do recriar do pod
Todas as nuvens GPU
Fluxos completos para provedores no Brasil e no mundo
Ferramentas GPU gratuitas direto no navegador
Perguntas frequentes
Como resolver No available memory for the cache blocks?
Simule FP8, tamanho de contexto e paralelismo tensorial em /pt/vram-calculator antes de subir o servidor.
Por que o EngineCore fecha no meio da execução?
Causas comuns incluem /dev/shm curto em container, falta de --ipc=host ou exceção CUDA silenciosa em um worker.
Plano gratuito de $0 e avaliação Team de 30 dias (sem cartão · fatura corporativa)
Qualquer e-mail pessoal ou corporativo pode criar uma conta gratuita de $0. Para times em produção, o checkout Stripe aceita cartões corporativos, registro fiscal (CNPJ/NIF) e fatura anual.