Mistral Small 3.1 24B Dimensionnement VRAM et Cluster GPU
Calculez dans votre navigateur l'empreinte GPU exacte de Mistral Small 3.1 24B : poids, cache KV GQA/MLA et parallélisme tensoriel sur A100, H100, H200 et RTX 5090.
Mémoire VRAM de Mistral Small 3.1 24B selon la précision (Lot 1)
| Précision | Poids du modèle | Cache KV (8k) | Activations + CUDA | Total estimé |
|---|---|---|---|---|
| FP16 / BF16 | 48.0 GB | 1.25 GB | ~3 GB | 52.3 GB |
| FP8 / INT8 | 24.0 GB | 0.63 GB | ~3 GB | 27.6 GB |
| INT4 / AWQ / GPTQ | 12.0 GB | 0.63 GB | ~3 GB | 15.6 GB |
Évolution du cache KV pour Mistral Small 3.1 24B (FP16 / Lot 1)
Mistral Small 3.1 24B repose sur Grouped-Query Attention (8 têtes KV / 32 têtes Query) et consomme le cache KV suivant selon la fenêtre de contexte :
Calculateur VRAM interactif
Ajustez taille de lot, contexte, quantification et mode d'exécution (Inférence, LoRA ou Full Fine-Tune).
Calculateur VRAM LLM gratuit
Calculez avec précision la mémoire GPU requise pour l'inférence, le fine-tuning complet et l'entraînement LoRA. Dimensionnez votre cluster pour Llama, DeepSeek, Qwen, Mistral ou un modèle personnalisé sur GPU NVIDIA.
Paramètres du modèle et de la charge
Quantification et précision
Mode d'exécution
Répartition de la VRAM
Outils développeur Denpex
Installez l'extension Denpex pour VS Code et Open VSX (plus de 2 000 installations actives) pour le diagnostic en temps réel. Analysez vos journaux hors ligne dans le navigateur avec notre analyseur de journaux GPU.
Dimensionnement matériel et recommandations GPU
Nombre minimal estimé de GPU nécessaires pour héberger 51.5 Go de VRAM avec marge pour la concurrence.
| Accélérateur GPU | VRAM par GPU | Nombre requis | Utilisation estimée |
|---|---|---|---|
| NVIDIA B200 | 192 GB | 1 GPU | 27% |
| NVIDIA H200 | 141 GB | 1 GPU | 37% |
| NVIDIA H100 | 80 GB | 1 GPU | 64% |
| NVIDIA A100 | 80 GB | 1 GPU | 64% |
| NVIDIA RTX PRO 6000 Blackwell | 96 GB | 1 GPU | 54% |
| NVIDIA L40S | 48 GB | 2 GPU | 54% |
| NVIDIA RTX 5090 | 32 GB | 2 GPU | 80% |
| NVIDIA RTX 4090 | 24 GB | 3 GPU | 72% |
Déboguer un OOM ou arrêt vLLM sur Mistral Small 3.1 24B
En cas d'erreur CUDA out of memory, manque de cache KV ou timeout NCCL avec Mistral Small 3.1 24B, ouvrez ces fiches en français.
Distinguer la fragmentation mémoire d'un véritable manque de capacité GPU.
Corriger No available memory for the cache blocks avec TP et max_model_len.
Résoudre les arrêts EngineCore et limites /dev/shm en multi-GPU.
Analyseur de logs hors ligne, décodeur NCCL et calculateurs gratuits.
Autres modèles populaires
Questions fréquentes
Quelle VRAM faut-il pour les seuls poids de Mistral Small 3.1 24B ?
Les poids de Mistral Small 3.1 24B demandent environ 48.0 Go en FP16, 24.0 Go en FP8/INT8 et 12.0 Go en INT4. En production, ajoutez le cache KV, les activations et la marge CUDA.
Quelle configuration GPU est recommandée pour déployer Mistral Small 3.1 24B ?
La base recommandée est 1x A100/H100 (80GB) or 1x RTX 5090 (32GB FP8) (None (single GPU)). Prévoyez une marge HBM et NVLink suffisante pour absorber les requêtes longues concurrentes.
Combien pèse le cache KV FP16 de Mistral Small 3.1 24B à 8k et 32k jetons ?
Pour un lot unitaire en FP16, le cache KV utilise environ 1.25 Go à 8k jetons et 5.00 Go à 32k jetons. Cette valeur est multipliée par la concurrence sous vLLM.
Essayez Denpex pendant 30 jours. GRATUIT.
Sans carte bancaire. Sans abonnement automatique. Vérifiez l'utilité de Denpex sur un incident que vous connaissez déjà.
Démarrer votre évaluation Team gratuite de 30 jours
Jusqu'à 50 diagnostics par jour pendant 30 jours. Vérifiez votre e-mail professionnel pour activer votre essai d'entreprise, rejouez un incident déjà résolu et comparez les preuves avec la cause confirmée par votre équipe.