Skip to content

Inférence H100 / H200 / B200 / RTX 5090

vLLM cache KV saturé, arrêt EngineCore et OOM multi-GPU

Déboguez No available memory for the cache blocks, EngineCore died, les limites /dev/shm et le dimensionnement de parallélisme tensoriel.

Signatures fréquentes et premier niveau de diagnostic

Signature logCatégorieSignificationPremier contrôleDétails
ValueError: No available memory for the cache blocksSaturation cache KVLa HBM restante après poids et CUDA Graph ne suffit pas pour la longueur max_model_len.Recalculer TP, quantification FP8 et max_model_len dans /fr/vram-calculator.Voir la fiche
RuntimeError: EngineCore encountered a fatal exception / diedArrêt worker vLLMLe sous-processus EngineCore a quitté suite à une erreur CUDA, un manque de /dev/shm ou un OOM hôte.Inspecter stderr du worker et dmesg Xid plutôt que le seul code HTTP 500.Voir la fiche
torch.OutOfMemoryError: CUDA out of memoryVRAM / FragmentationLes poids, gradients, états optimiseur ou blocs KV dépassent la HBM libre du GPU.Comparer mémoire réservée vs allouée, micro-lot et paramètres PYTORCH_CUDA_ALLOC_CONF.Voir la fiche
TensorRT-LLM / SGLang / vLLM erreur IPC ou --ipc=host manquantInférence multi-GPUMémoire partagée /dev/shm insuffisante en conteneur ou restriction P2P sur noeuds H100.Consulter le guide unifié multi-GPU vLLM, SGLang et TensorRT-LLM.Ouvrir le guide

Preuves locales à capturer avant redémarrage

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

Dépannage par fournisseur cloud GPU en France et Europe

Outils GPU gratuits dans votre navigateur

Questions fréquentes

Pourquoi obtenir No available memory for the cache blocks ?

Après chargement du modèle et du CUDA Graph, l'espace HBM restant ne couvre plus max_model_len. Simulez FP8 et TP dans /fr/vram-calculator.

Quelle est la cause fréquente d'un EngineCore died ?

Un /dev/shm sous-dimensionné en Docker/Kubernetes, l'absence de --ipc=host ou un OOM hôte tuant le worker.

Offre gratuite à 0 $ et évaluation Team 30 jours (sans carte · TVA et facture)

Créez un compte gratuit à 0 $ avec une adresse personnelle ou professionnelle. La facturation Team accepte les cartes d'entreprise avec numéro de TVA via Stripe ainsi que le paiement annuel sur facture.