Inférence H100 / H200 / B200 / RTX 5090
vLLM cache KV saturé, arrêt EngineCore et OOM multi-GPU
Déboguez No available memory for the cache blocks, EngineCore died, les limites /dev/shm et le dimensionnement de parallélisme tensoriel.
Signatures fréquentes et premier niveau de diagnostic
| Signature log | Catégorie | Signification | Premier contrôle | Détails |
|---|---|---|---|---|
| ValueError: No available memory for the cache blocks | Saturation cache KV | La HBM restante après poids et CUDA Graph ne suffit pas pour la longueur max_model_len. | Recalculer TP, quantification FP8 et max_model_len dans /fr/vram-calculator. | Voir la fiche |
| RuntimeError: EngineCore encountered a fatal exception / died | Arrêt worker vLLM | Le sous-processus EngineCore a quitté suite à une erreur CUDA, un manque de /dev/shm ou un OOM hôte. | Inspecter stderr du worker et dmesg Xid plutôt que le seul code HTTP 500. | Voir la fiche |
| torch.OutOfMemoryError: CUDA out of memory | VRAM / Fragmentation | Les poids, gradients, états optimiseur ou blocs KV dépassent la HBM libre du GPU. | Comparer mémoire réservée vs allouée, micro-lot et paramètres PYTORCH_CUDA_ALLOC_CONF. | Voir la fiche |
| TensorRT-LLM / SGLang / vLLM erreur IPC ou --ipc=host manquant | Inférence multi-GPU | Mémoire partagée /dev/shm insuffisante en conteneur ou restriction P2P sur noeuds H100. | Consulter le guide unifié multi-GPU vLLM, SGLang et TensorRT-LLM. | Ouvrir le guide |
Preuves locales à capturer avant redémarrage
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1Dépannage par fournisseur cloud GPU en France et Europe
OVHcloud & Scaleway France H100
InfiniBand, RoCEv2, DeepSpeed et Xid 79 en France/UE
Scaleway H100 RoCE & DeepSpeed
Diagnostics DeepSpeed ZeRO et timeouts collectifs
Nebius Europe H100 / B200
Clusters européens InfiniBand NDR et Slurm
Tous les workflows clouds GPU
Comparer les diagnostics par fournisseur européen et mondial
Outils GPU gratuits dans votre navigateur
Questions fréquentes
Pourquoi obtenir No available memory for the cache blocks ?
Après chargement du modèle et du CUDA Graph, l'espace HBM restant ne couvre plus max_model_len. Simulez FP8 et TP dans /fr/vram-calculator.
Quelle est la cause fréquente d'un EngineCore died ?
Un /dev/shm sous-dimensionné en Docker/Kubernetes, l'absence de --ipc=host ou un OOM hôte tuant le worker.
Offre gratuite à 0 $ et évaluation Team 30 jours (sans carte · TVA et facture)
Créez un compte gratuit à 0 $ avec une adresse personnelle ou professionnelle. La facturation Team accepte les cartes d'entreprise avec numéro de TVA via Stripe ainsi que le paiement annuel sur facture.