Skip to content

Qwen 3 235B A22B Requisitos de VRAM e Cluster GPU

Calcule direto no navegador a memória GPU necessária para Qwen 3 235B A22B: pesos, cache KV GQA/MLA e Tensor Parallelism em A100, H100, H200 e RTX 5090.

Arquitetura MoE
Parâmetros totais
235B
Pesos ativos
22B
Contexto máximo
128k tokens
Cluster recomendado
4x H100 (80GB FP8) or 8x H100 (BF16)

Uso de VRAM do Qwen 3 235B A22B por precisão (Batch 1)

PrecisãoPesos do modeloCache KV (8k)Ativações + CUDATotal estimado
FP16 / BF16470.0 GB1.47 GB~3 GB474.5 GB
FP8 / INT8235.0 GB0.73 GB~3 GB238.7 GB
INT4 / AWQ / GPTQ117.5 GB0.73 GB~3 GB121.2 GB

Crescimento do cache KV no Qwen 3 235B A22B (FP16 / Batch 1)

Qwen 3 235B A22B usa Grouped-Query Attention (4 cabeças KV / 64 cabeças Query), escalando a memória KV com o tamanho do contexto assim:

Contexto 8k
1.47 GB
Contexto 32k
5.88 GB
Contexto 128k
23.50 GB

Calculadora VRAM interativa

Ajuste tamanho de batch, contexto, quantização e modo (Inferência, LoRA ou Full Fine-Tune).

Calculadora gratuita de VRAM para LLM

Calcule com precisão os requisitos de memória GPU para inferência, ajuste fino completo e treinamento LoRA. Planeje a arquitetura do seu cluster para Llama, DeepSeek, Qwen e modelos personalizados em GPUs NVIDIA.

Parâmetros do modelo e carga de trabalho

Quantização e precisão

Modo de execução

8,192 tokens
4,09632,76865,536131,072
1
1163264

Detalhamento de VRAM

Pesos do modelo470 GB
Cache KV1.47 GB
Overhead de ativação1.18 GB
Runtime CUDA2 GB
VRAM total necessária474.64 GB

Ferramentas para desenvolvedores Denpex

Instale a extensão Denpex para VS Code e Open VSX com mais de 2.000 instalações ativas. Analise logs localmente no navegador sem upload com o nosso analisador de logs GPU.

Dimensionamento de hardware e recomendações de GPU

Quantidade mínima estimada de GPUs para hospedar 474.64 GB de VRAM com folga para concorrência.

Acelerador GPUVRAM por GPUQuantidade necessáriaUso estimado
NVIDIA B200192 GB3 GPUs82%
NVIDIA H200141 GB4 GPUs84%
NVIDIA H10080 GB6 GPUs99%
NVIDIA A10080 GB6 GPUs99%
NVIDIA RTX PRO 6000 Blackwell96 GB5 GPUs99%
NVIDIA L40S48 GB10 GPUs99%
NVIDIA RTX 509032 GB15 GPUs99%
NVIDIA RTX 409024 GB20 GPUs99%

Depurando OOM ou falhas vLLM ao rodar Qwen 3 235B A22B

Se ocorrer CUDA out of memory, falta de cache KV ou travamento NCCL com Qwen 3 235B A22B, confira estes guias em português.

Calculadoras de outros modelos populares

Perguntas frequentes

Quanta VRAM apenas os pesos do Qwen 3 235B A22B consomem?

Em FP16 os pesos usam cerca de 470.0 GB, em FP8/INT8 cerca de 235.0 GB e em INT4 cerca de 117.5 GB. Em produção, some o cache KV, ativações e margem CUDA.

Qual configuração de GPUs é recomendada para servir o Qwen 3 235B A22B?

O baseline recomendado é 4x H100 (80GB FP8) or 8x H100 (BF16) (Tensor Parallelism 4 (FP8) or TP 8 / EP 8 (BF16)). Em contextos longos ou alta concorrência, garanta folga em HBM e largura de banda NVLink.

Quanto o cache KV FP16 do Qwen 3 235B A22B consome em 8k e 32k tokens?

Com batch 1 em FP16, usa aproximadamente 1.47 GB em 8k tokens e 5.88 GB em 32k tokens, crescendo proporcionalmente às requisições simultâneas.

Experimente o Denpex por 30 dias. GRÁTIS.

Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.

Inicie sua avaliação Team gratuita de 30 dias

Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.

Use seu e-mail da empresa, por exemplo alex@suaempresa.com.

Quem é elegível?

Domínios corporativos ativam a avaliação gratuita de 30 dias após a verificação do e-mail e domínio. Se a validação automática falhar, fale com support@denpex.com. O diagnóstico local na extensão do editor dispensa conta.

Usando e-mail pessoal (Gmail, Outlook) ou cluster solo? Criar conta gratuita de $0 (não exige e-mail corporativo) para salvar histórico de 7 dias, ou envie um log de falha para demonstração ao vivo.