Llama 3.3 70B VRAM 容量要件・GPU 構成ガイド
Llama 3.3 70B の推論およびファインチューニングに必要な GPU メモリ、GQA/MLA KV キャッシュ増分、テンソル並列 (TP) 構成の基準値をブラウザ上で試算できます。
Llama 3.3 70B の精度別 VRAM 消費量 (単一バッチ目安)
| 量子化精度 | モデル重み | KV キャッシュ (8k) | 活性化・CUDA 実行枠 | 推論合計目安 |
|---|---|---|---|---|
| FP16 / BF16 | 140.0 GB | 2.50 GB | ~3 GB | 145.5 GB |
| FP8 / INT8 | 70.0 GB | 1.25 GB | ~3 GB | 74.3 GB |
| INT4 / AWQ / GPTQ | 35.0 GB | 1.25 GB | ~3 GB | 39.3 GB |
Llama 3.3 70B の KV キャッシュ増加傾向 (FP16 / バッチ 1)
Llama 3.3 70B は Grouped-Query Attention (KV ヘッド 8 / Query ヘッド 64) 構造を採用しており、コンテキスト長に応じて次のように増加します。
対話型 VRAM サイジング計算機
コンテキスト長、バッチサイズ、量子化、学習モード (LoRA / Full) を変更して実環境に合わせて試算できます。
無料 LLM VRAM 計算機
推論、フルファインチューニング、LoRA 学習に必要な GPU メモリ容量を精密に計算します。Llama、DeepSeek、Qwen、およびカスタムモデルのクラスター構成を最新の NVIDIA GPU で正確に計画できます。
モデルとワークロードのパラメータ
量子化と精度
実行モード
VRAM 内訳
Denpex 開発者向けツール
2,000 以上の環境で導入されている Denpex VS Code / Open VSX 拡張機能でリアルタイム診断を実行できます。ログのオフライン解析には GPU ログ解析ツール をご利用ください。
ハードウェアクラスタ規模と推奨 GPU
同時実行の余裕を含めて 145.5 GB の VRAM を安全に収容するための推定最小 GPU 基数です。
| GPU アクセラレータ | GPU あたり VRAM | 必要基数 | 推定使用率 |
|---|---|---|---|
| NVIDIA B200 | 192 GB | 1 基 | 76% |
| NVIDIA H200 | 141 GB | 2 基 | 52% |
| NVIDIA H100 | 80 GB | 2 基 | 91% |
| NVIDIA A100 | 80 GB | 2 基 | 91% |
| NVIDIA RTX PRO 6000 Blackwell | 96 GB | 2 基 | 76% |
| NVIDIA L40S | 48 GB | 4 基 | 76% |
| NVIDIA RTX 5090 | 32 GB | 5 基 | 91% |
| NVIDIA RTX 4090 | 24 GB | 7 基 | 87% |
Llama 3.3 70B で OOM や vLLM 停止が発生した場合の切り分け
Llama 3.3 70B のデプロイ時に CUDA out of memory や KV キャッシュ不足、NCCL 停止に遭遇した場合は以下から原因を確認できます。
他の主要モデル VRAM ガイド
よくある質問
Llama 3.3 70B のモデル重みだけで必要な VRAM 容量はいくつですか?
Llama 3.3 70B の重み単体は FP16 で約 140.0 GB、FP8/INT8 で約 70.0 GB、INT4 で約 35.0 GB です。実運用ではさらに KV キャッシュと活性化・CUDA 実行枠が必要です。
Llama 3.3 70B の推奨 GPU 構成と並列化設定は?
代表的な構成は 2x H100 (80GB) or 1x H200 (141GB FP8) (Tensor Parallelism 2 (BF16) or TP 1 on H200 (FP8)) です。長文コンテキストや高スループット時は NVLink 帯域と KV キャッシュ余裕を確保してください。
Llama 3.3 70B の FP16 KV キャッシュは 8k / 32k トークンでどのくらい増えますか?
バッチサイズ 1・FP16 の KV キャッシュ換算で、8k トークン時は 2.50 GB、32k トークン時は 10.00 GB を消費します。同時実行数に比例して増えるため、vLLM では FP8 KV キャッシュや並列数調整が有効です。
Denpex を 30 日間お試し。 無料。
クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。
30日間の無料 Team 評価を開始
30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。