Mistral Small 3.1 24B Requisitos de VRAM y GPUs recomendadas
Calcula en tu navegador la memoria GPU exacta para Mistral Small 3.1 24B: pesos, caché KV GQA/MLA y paralelismo tensorial en A100, H100, H200 y RTX 5090.
Consumo de VRAM de Mistral Small 3.1 24B por precisión (Lote 1)
| Precisión | Pesos del modelo | Caché KV (8k) | Activación + CUDA | Total estimado |
|---|---|---|---|---|
| FP16 / BF16 | 48.0 GB | 1.25 GB | ~3 GB | 52.3 GB |
| FP8 / INT8 | 24.0 GB | 0.63 GB | ~3 GB | 27.6 GB |
| INT4 / AWQ / GPTQ | 12.0 GB | 0.63 GB | ~3 GB | 15.6 GB |
Crecimiento de caché KV en Mistral Small 3.1 24B (FP16 / Lote 1)
Mistral Small 3.1 24B utiliza Grouped-Query Attention (8 cabezas KV / 32 cabezas Query), por lo que su caché KV crece con el contexto así:
Calculadora VRAM interactiva
Ajusta tamaño de lote, longitud de contexto, cuantización y modo (Inferencia, LoRA o Full Fine-Tune).
Calculadora gratuita de VRAM para LLM
Calcula con precisión los requisitos de memoria GPU para inferencia, ajuste fino completo y entrenamiento LoRA. Planifica tu arquitectura de clúster para Llama, DeepSeek, Qwen y modelos personalizados en aceleradores NVIDIA.
Parámetros del modelo y carga de trabajo
Cuantización y precisión
Modo de ejecución
Desglose de VRAM
Herramientas para desarrolladores de Denpex
Instala la extensión de Denpex para VS Code y Open VSX con más de 2,000 instalaciones activas. Analiza logs en tu navegador sin conexión con nuestro analizador de logs GPU.
Dimensionamiento de clúster y recomendaciones de GPU
Número mínimo estimado de GPUs para alojar 51.5 GB de VRAM con margen para concurrencia.
| Acelerador GPU | VRAM por GPU | Cantidad requerida | Uso estimado |
|---|---|---|---|
| NVIDIA B200 | 192 GB | 1 GPU | 27% |
| NVIDIA H200 | 141 GB | 1 GPU | 37% |
| NVIDIA H100 | 80 GB | 1 GPU | 64% |
| NVIDIA A100 | 80 GB | 1 GPU | 64% |
| NVIDIA RTX PRO 6000 Blackwell | 96 GB | 1 GPU | 54% |
| NVIDIA L40S | 48 GB | 2 GPUs | 54% |
| NVIDIA RTX 5090 | 32 GB | 2 GPUs | 80% |
| NVIDIA RTX 4090 | 24 GB | 3 GPUs | 72% |
Solucionar errores OOM o vLLM al ejecutar Mistral Small 3.1 24B
Si ves CUDA out of memory, falta de caché KV o bloqueos NCCL al servir Mistral Small 3.1 24B, revisa estas guías en español.
Separa fragmentación de asignador de un agotamiento real de HBM.
Corrige No available memory for the cache blocks ajustando TP y max_model_len.
Guía para caídas EngineCore y límites /dev/shm en contenedores GPU.
Analizador de logs sin conexión y utilidades gratuitas en español.
Calculadoras para otros modelos populares
Preguntas frecuentes
¿Cuánta VRAM requieren solo los pesos de Mistral Small 3.1 24B?
En FP16 los pesos ocupan cerca de 48.0 GB, en FP8/INT8 unos 24.0 GB y en INT4 unos 12.0 GB. Para ejecutarlo se suma caché KV, activaciones y reserva CUDA.
¿Qué cluster GPU se recomienda para desplegar Mistral Small 3.1 24B?
La referencia estándar es 1x A100/H100 (80GB) or 1x RTX 5090 (32GB FP8) (None (single GPU)). Reserva margen extra de HBM y NVLink si sirves contextos largos con alta concurrencia.
¿Cuánta memoria usa la caché KV FP16 de Mistral Small 3.1 24B a 8k y 32k tokens?
Con lote 1 en FP16 consume alrededor de 1.25 GB a 8k tokens y 5.00 GB a 32k tokens. Ese valor escala con las peticiones simultáneas en vLLM.
Prueba Denpex por 30 días. GRATIS.
Sin tarjeta de crédito. Sin suscripción automática. Comprueba si Denpex ayuda con un incidente que ya conoces.
Inicia tu evaluación Team gratuita de 30 días
Hasta 50 diagnósticos diarios durante 30 días. Verifica tu correo laboral para activar una evaluación empresarial elegible, reproduce un incidente resuelto y compara la evidencia con la causa confirmada por tu equipo.