Mistral Large 2 123B Requisitos de VRAM e Cluster GPU
Calcule direto no navegador a memória GPU necessária para Mistral Large 2 123B: pesos, cache KV GQA/MLA e Tensor Parallelism em A100, H100, H200 e RTX 5090.
Uso de VRAM do Mistral Large 2 123B por precisão (Batch 1)
| Precisão | Pesos do modelo | Cache KV (8k) | Ativações + CUDA | Total estimado |
|---|---|---|---|---|
| FP16 / BF16 | 246.0 GB | 2.75 GB | ~3 GB | 251.8 GB |
| FP8 / INT8 | 123.0 GB | 1.38 GB | ~3 GB | 127.4 GB |
| INT4 / AWQ / GPTQ | 61.5 GB | 1.38 GB | ~3 GB | 65.9 GB |
Crescimento do cache KV no Mistral Large 2 123B (FP16 / Batch 1)
Mistral Large 2 123B usa Multi-Head Attention padrão, escalando a memória KV com o tamanho do contexto assim:
Calculadora VRAM interativa
Ajuste tamanho de batch, contexto, quantização e modo (Inferência, LoRA ou Full Fine-Tune).
Calculadora gratuita de VRAM para LLM
Calcule com precisão os requisitos de memória GPU para inferência, ajuste fino completo e treinamento LoRA. Planeje a arquitetura do seu cluster para Llama, DeepSeek, Qwen e modelos personalizados em GPUs NVIDIA.
Parâmetros do modelo e carga de trabalho
Quantização e precisão
Modo de execução
Detalhamento de VRAM
Ferramentas para desenvolvedores Denpex
Instale a extensão Denpex para VS Code e Open VSX com mais de 2.000 instalações ativas. Analise logs localmente no navegador sem upload com o nosso analisador de logs GPU.
Dimensionamento de hardware e recomendações de GPU
Quantidade mínima estimada de GPUs para hospedar 250.89 GB de VRAM com folga para concorrência.
| Acelerador GPU | VRAM por GPU | Quantidade necessária | Uso estimado |
|---|---|---|---|
| NVIDIA B200 | 192 GB | 2 GPUs | 65% |
| NVIDIA H200 | 141 GB | 2 GPUs | 89% |
| NVIDIA H100 | 80 GB | 4 GPUs | 78% |
| NVIDIA A100 | 80 GB | 4 GPUs | 78% |
| NVIDIA RTX PRO 6000 Blackwell | 96 GB | 3 GPUs | 87% |
| NVIDIA L40S | 48 GB | 6 GPUs | 87% |
| NVIDIA RTX 5090 | 32 GB | 8 GPUs | 98% |
| NVIDIA RTX 4090 | 24 GB | 11 GPUs | 95% |
Depurando OOM ou falhas vLLM ao rodar Mistral Large 2 123B
Se ocorrer CUDA out of memory, falta de cache KV ou travamento NCCL com Mistral Large 2 123B, confira estes guias em português.
Separe fragmentação de alocador da falta real de memória na GPU.
Corrija No available memory for the cache blocks ajustando TP e max_model_len.
Soluções para EngineCore morreu e limites de /dev/shm no container.
Analisador de logs offline e utilitários gratuitos em português.
Calculadoras de outros modelos populares
Perguntas frequentes
Quanta VRAM apenas os pesos do Mistral Large 2 123B consomem?
Em FP16 os pesos usam cerca de 246.0 GB, em FP8/INT8 cerca de 123.0 GB e em INT4 cerca de 61.5 GB. Em produção, some o cache KV, ativações e margem CUDA.
Qual configuração de GPUs é recomendada para servir o Mistral Large 2 123B?
O baseline recomendado é 4x H100 (80GB) or 2x H200 (141GB) (Tensor Parallelism 4 (BF16) or TP 2 (FP8)). Em contextos longos ou alta concorrência, garanta folga em HBM e largura de banda NVLink.
Quanto o cache KV FP16 do Mistral Large 2 123B consome em 8k e 32k tokens?
Com batch 1 em FP16, usa aproximadamente 2.75 GB em 8k tokens e 11.00 GB em 32k tokens, crescendo proporcionalmente às requisições simultâneas.
Experimente o Denpex por 30 dias. GRÁTIS.
Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.
Inicie sua avaliação Team gratuita de 30 dias
Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.