Skip to content

Mistral Small 3.1 24B Requisitos de VRAM e Cluster GPU

Calcule direto no navegador a memória GPU necessária para Mistral Small 3.1 24B: pesos, cache KV GQA/MLA e Tensor Parallelism em A100, H100, H200 e RTX 5090.

Modelo Denso
Parâmetros totais
24B
Pesos ativos
24B
Contexto máximo
128k tokens
Cluster recomendado
1x A100/H100 (80GB) or 1x RTX 5090 (32GB FP8)

Uso de VRAM do Mistral Small 3.1 24B por precisão (Batch 1)

PrecisãoPesos do modeloCache KV (8k)Ativações + CUDATotal estimado
FP16 / BF1648.0 GB1.25 GB~3 GB52.3 GB
FP8 / INT824.0 GB0.63 GB~3 GB27.6 GB
INT4 / AWQ / GPTQ12.0 GB0.63 GB~3 GB15.6 GB

Crescimento do cache KV no Mistral Small 3.1 24B (FP16 / Batch 1)

Mistral Small 3.1 24B usa Grouped-Query Attention (8 cabeças KV / 32 cabeças Query), escalando a memória KV com o tamanho do contexto assim:

Contexto 8k
1.25 GB
Contexto 32k
5.00 GB
Contexto 128k
20.00 GB

Calculadora VRAM interativa

Ajuste tamanho de batch, contexto, quantização e modo (Inferência, LoRA ou Full Fine-Tune).

Calculadora gratuita de VRAM para LLM

Calcule com precisão os requisitos de memória GPU para inferência, ajuste fino completo e treinamento LoRA. Planeje a arquitetura do seu cluster para Llama, DeepSeek, Qwen e modelos personalizados em GPUs NVIDIA.

Parâmetros do modelo e carga de trabalho

Quantização e precisão

Modo de execução

8,192 tokens
4,09632,76865,536131,072
1
1163264

Detalhamento de VRAM

Pesos do modelo48 GB
Cache KV1.25 GB
Overhead de ativação0.25 GB
Runtime CUDA2 GB
VRAM total necessária51.5 GB

Ferramentas para desenvolvedores Denpex

Instale a extensão Denpex para VS Code e Open VSX com mais de 2.000 instalações ativas. Analise logs localmente no navegador sem upload com o nosso analisador de logs GPU.

Dimensionamento de hardware e recomendações de GPU

Quantidade mínima estimada de GPUs para hospedar 51.5 GB de VRAM com folga para concorrência.

Acelerador GPUVRAM por GPUQuantidade necessáriaUso estimado
NVIDIA B200192 GB1 GPU27%
NVIDIA H200141 GB1 GPU37%
NVIDIA H10080 GB1 GPU64%
NVIDIA A10080 GB1 GPU64%
NVIDIA RTX PRO 6000 Blackwell96 GB1 GPU54%
NVIDIA L40S48 GB2 GPUs54%
NVIDIA RTX 509032 GB2 GPUs80%
NVIDIA RTX 409024 GB3 GPUs72%

Depurando OOM ou falhas vLLM ao rodar Mistral Small 3.1 24B

Se ocorrer CUDA out of memory, falta de cache KV ou travamento NCCL com Mistral Small 3.1 24B, confira estes guias em português.

Calculadoras de outros modelos populares

Perguntas frequentes

Quanta VRAM apenas os pesos do Mistral Small 3.1 24B consomem?

Em FP16 os pesos usam cerca de 48.0 GB, em FP8/INT8 cerca de 24.0 GB e em INT4 cerca de 12.0 GB. Em produção, some o cache KV, ativações e margem CUDA.

Qual configuração de GPUs é recomendada para servir o Mistral Small 3.1 24B?

O baseline recomendado é 1x A100/H100 (80GB) or 1x RTX 5090 (32GB FP8) (None (single GPU)). Em contextos longos ou alta concorrência, garanta folga em HBM e largura de banda NVLink.

Quanto o cache KV FP16 do Mistral Small 3.1 24B consome em 8k e 32k tokens?

Com batch 1 em FP16, usa aproximadamente 1.25 GB em 8k tokens e 5.00 GB em 32k tokens, crescendo proporcionalmente às requisições simultâneas.

Experimente o Denpex por 30 dias. GRÁTIS.

Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.

Inicie sua avaliação Team gratuita de 30 dias

Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.

Use seu e-mail da empresa, por exemplo alex@suaempresa.com.

Quem é elegível?

Domínios corporativos ativam a avaliação gratuita de 30 dias após a verificação do e-mail e domínio. Se a validação automática falhar, fale com support@denpex.com. O diagnóstico local na extensão do editor dispensa conta.

Usando e-mail pessoal (Gmail, Outlook) ou cluster solo? Criar conta gratuita de $0 (não exige e-mail corporativo) para salvar histórico de 7 dias, ou envie um log de falha para demonstração ao vivo.