Skip to content

Llama 3.3 70B Requisitos de VRAM e Cluster GPU

Calcule direto no navegador a memória GPU necessária para Llama 3.3 70B: pesos, cache KV GQA/MLA e Tensor Parallelism em A100, H100, H200 e RTX 5090.

Modelo Denso
Parâmetros totais
70B
Pesos ativos
70B
Contexto máximo
128k tokens
Cluster recomendado
2x H100 (80GB) or 1x H200 (141GB FP8)

Uso de VRAM do Llama 3.3 70B por precisão (Batch 1)

PrecisãoPesos do modeloCache KV (8k)Ativações + CUDATotal estimado
FP16 / BF16140.0 GB2.50 GB~3 GB145.5 GB
FP8 / INT870.0 GB1.25 GB~3 GB74.3 GB
INT4 / AWQ / GPTQ35.0 GB1.25 GB~3 GB39.3 GB

Crescimento do cache KV no Llama 3.3 70B (FP16 / Batch 1)

Llama 3.3 70B usa Grouped-Query Attention (8 cabeças KV / 64 cabeças Query), escalando a memória KV com o tamanho do contexto assim:

Contexto 8k
2.50 GB
Contexto 32k
10.00 GB
Contexto 128k
40.00 GB

Calculadora VRAM interativa

Ajuste tamanho de batch, contexto, quantização e modo (Inferência, LoRA ou Full Fine-Tune).

Calculadora gratuita de VRAM para LLM

Calcule com precisão os requisitos de memória GPU para inferência, ajuste fino completo e treinamento LoRA. Planeje a arquitetura do seu cluster para Llama, DeepSeek, Qwen e modelos personalizados em GPUs NVIDIA.

Parâmetros do modelo e carga de trabalho

Quantização e precisão

Modo de execução

8,192 tokens
4,09632,76865,536131,072
1
1163264

Detalhamento de VRAM

Pesos do modelo140 GB
Cache KV2.5 GB
Overhead de ativação1 GB
Runtime CUDA2 GB
VRAM total necessária145.5 GB

Ferramentas para desenvolvedores Denpex

Instale a extensão Denpex para VS Code e Open VSX com mais de 2.000 instalações ativas. Analise logs localmente no navegador sem upload com o nosso analisador de logs GPU.

Dimensionamento de hardware e recomendações de GPU

Quantidade mínima estimada de GPUs para hospedar 145.5 GB de VRAM com folga para concorrência.

Acelerador GPUVRAM por GPUQuantidade necessáriaUso estimado
NVIDIA B200192 GB1 GPU76%
NVIDIA H200141 GB2 GPUs52%
NVIDIA H10080 GB2 GPUs91%
NVIDIA A10080 GB2 GPUs91%
NVIDIA RTX PRO 6000 Blackwell96 GB2 GPUs76%
NVIDIA L40S48 GB4 GPUs76%
NVIDIA RTX 509032 GB5 GPUs91%
NVIDIA RTX 409024 GB7 GPUs87%

Depurando OOM ou falhas vLLM ao rodar Llama 3.3 70B

Se ocorrer CUDA out of memory, falta de cache KV ou travamento NCCL com Llama 3.3 70B, confira estes guias em português.

Calculadoras de outros modelos populares

Perguntas frequentes

Quanta VRAM apenas os pesos do Llama 3.3 70B consomem?

Em FP16 os pesos usam cerca de 140.0 GB, em FP8/INT8 cerca de 70.0 GB e em INT4 cerca de 35.0 GB. Em produção, some o cache KV, ativações e margem CUDA.

Qual configuração de GPUs é recomendada para servir o Llama 3.3 70B?

O baseline recomendado é 2x H100 (80GB) or 1x H200 (141GB FP8) (Tensor Parallelism 2 (BF16) or TP 1 on H200 (FP8)). Em contextos longos ou alta concorrência, garanta folga em HBM e largura de banda NVLink.

Quanto o cache KV FP16 do Llama 3.3 70B consome em 8k e 32k tokens?

Com batch 1 em FP16, usa aproximadamente 2.50 GB em 8k tokens e 10.00 GB em 32k tokens, crescendo proporcionalmente às requisições simultâneas.

Experimente o Denpex por 30 dias. GRÁTIS.

Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.

Inicie sua avaliação Team gratuita de 30 dias

Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.

Use seu e-mail da empresa, por exemplo alex@suaempresa.com.

Quem é elegível?

Domínios corporativos ativam a avaliação gratuita de 30 dias após a verificação do e-mail e domínio. Se a validação automática falhar, fale com support@denpex.com. O diagnóstico local na extensão do editor dispensa conta.

Usando e-mail pessoal (Gmail, Outlook) ou cluster solo? Criar conta gratuita de $0 (não exige e-mail corporativo) para salvar histórico de 7 dias, ou envie um log de falha para demonstração ao vivo.