Skip to content

Llama 3.3 70B Requisitos de VRAM y GPUs recomendadas

Calcula en tu navegador la memoria GPU exacta para Llama 3.3 70B: pesos, caché KV GQA/MLA y paralelismo tensorial en A100, H100, H200 y RTX 5090.

Modelo Denso
Parámetros totales
70B
Pesos activos
70B
Contexto máximo
128k tokens
Cluster recomendado
2x H100 (80GB) or 1x H200 (141GB FP8)

Consumo de VRAM de Llama 3.3 70B por precisión (Lote 1)

PrecisiónPesos del modeloCaché KV (8k)Activación + CUDATotal estimado
FP16 / BF16140.0 GB2.50 GB~3 GB145.5 GB
FP8 / INT870.0 GB1.25 GB~3 GB74.3 GB
INT4 / AWQ / GPTQ35.0 GB1.25 GB~3 GB39.3 GB

Crecimiento de caché KV en Llama 3.3 70B (FP16 / Lote 1)

Llama 3.3 70B utiliza Grouped-Query Attention (8 cabezas KV / 64 cabezas Query), por lo que su caché KV crece con el contexto así:

Contexto 8k
2.50 GB
Contexto 32k
10.00 GB
Contexto 128k
40.00 GB

Calculadora VRAM interactiva

Ajusta tamaño de lote, longitud de contexto, cuantización y modo (Inferencia, LoRA o Full Fine-Tune).

Calculadora gratuita de VRAM para LLM

Calcula con precisión los requisitos de memoria GPU para inferencia, ajuste fino completo y entrenamiento LoRA. Planifica tu arquitectura de clúster para Llama, DeepSeek, Qwen y modelos personalizados en aceleradores NVIDIA.

Parámetros del modelo y carga de trabajo

Cuantización y precisión

Modo de ejecución

8,192 tokens
4,09632,76865,536131,072
1
1163264

Desglose de VRAM

Pesos del modelo140 GB
Caché KV2.5 GB
Sobrecarga de activación1 GB
Entorno CUDA2 GB
VRAM total requerida145.5 GB

Herramientas para desarrolladores de Denpex

Instala la extensión de Denpex para VS Code y Open VSX con más de 2,000 instalaciones activas. Analiza logs en tu navegador sin conexión con nuestro analizador de logs GPU.

Dimensionamiento de clúster y recomendaciones de GPU

Número mínimo estimado de GPUs para alojar 145.5 GB de VRAM con margen para concurrencia.

Acelerador GPUVRAM por GPUCantidad requeridaUso estimado
NVIDIA B200192 GB1 GPU76%
NVIDIA H200141 GB2 GPUs52%
NVIDIA H10080 GB2 GPUs91%
NVIDIA A10080 GB2 GPUs91%
NVIDIA RTX PRO 6000 Blackwell96 GB2 GPUs76%
NVIDIA L40S48 GB4 GPUs76%
NVIDIA RTX 509032 GB5 GPUs91%
NVIDIA RTX 409024 GB7 GPUs87%

Solucionar errores OOM o vLLM al ejecutar Llama 3.3 70B

Si ves CUDA out of memory, falta de caché KV o bloqueos NCCL al servir Llama 3.3 70B, revisa estas guías en español.

Calculadoras para otros modelos populares

Preguntas frecuentes

¿Cuánta VRAM requieren solo los pesos de Llama 3.3 70B?

En FP16 los pesos ocupan cerca de 140.0 GB, en FP8/INT8 unos 70.0 GB y en INT4 unos 35.0 GB. Para ejecutarlo se suma caché KV, activaciones y reserva CUDA.

¿Qué cluster GPU se recomienda para desplegar Llama 3.3 70B?

La referencia estándar es 2x H100 (80GB) or 1x H200 (141GB FP8) (Tensor Parallelism 2 (BF16) or TP 1 on H200 (FP8)). Reserva margen extra de HBM y NVLink si sirves contextos largos con alta concurrencia.

¿Cuánta memoria usa la caché KV FP16 de Llama 3.3 70B a 8k y 32k tokens?

Con lote 1 en FP16 consume alrededor de 2.50 GB a 8k tokens y 10.00 GB a 32k tokens. Ese valor escala con las peticiones simultáneas en vLLM.

Prueba Denpex por 30 días. GRATIS.

Sin tarjeta de crédito. Sin suscripción automática. Comprueba si Denpex ayuda con un incidente que ya conoces.

Inicia tu evaluación Team gratuita de 30 días

Hasta 50 diagnósticos diarios durante 30 días. Verifica tu correo laboral para activar una evaluación empresarial elegible, reproduce un incidente resuelto y compara la evidencia con la causa confirmada por tu equipo.

Usa el correo de tu empresa, por ejemplo alex@tuempresa.com.

¿Quién califica?

Los dominios corporativos activan la evaluación gratuita de 30 días tras validar el correo y dominio. Si no podemos verificarlo automáticamente, escribe a support@denpex.com. El diagnóstico local en el editor no requiere cuenta.

¿Usas correo personal (Gmail, Outlook) o un clúster individual? Crea una cuenta gratuita de $0 (sin correo de trabajo) para guardar 7 días de historial, o envía un log de error para una revisión en vivo.