Skip to content

Llama 3.1 405B VRAM 容量要件・GPU 構成ガイド

Llama 3.1 405B の推論およびファインチューニングに必要な GPU メモリ、GQA/MLA KV キャッシュ増分、テンソル並列 (TP) 構成の基準値をブラウザ上で試算できます。

Dense モデル
総パラメータ数
405B
推論時アクティブ重み
405B
最大コンテキスト
128k トークン
推奨 GPU 構成
8x H100 (80GB)

Llama 3.1 405B の精度別 VRAM 消費量 (単一バッチ目安)

量子化精度モデル重みKV キャッシュ (4k)活性化・CUDA 実行枠推論合計目安
FP16 / BF16810.0 GB1.97 GB~3 GB815.0 GB
FP8 / INT8405.0 GB0.98 GB~3 GB409.0 GB
INT4 / AWQ / GPTQ202.5 GB0.98 GB~3 GB206.5 GB

Llama 3.1 405B の KV キャッシュ増加傾向 (FP16 / バッチ 1)

Llama 3.1 405B は Grouped-Query Attention (KV ヘッド 8 / Query ヘッド 128) 構造を採用しており、コンテキスト長に応じて次のように増加します。

8k トークン
3.94 GB
32k トークン
15.75 GB
128k トークン
63.00 GB

対話型 VRAM サイジング計算機

コンテキスト長、バッチサイズ、量子化、学習モード (LoRA / Full) を変更して実環境に合わせて試算できます。

無料 LLM VRAM 計算機

推論、フルファインチューニング、LoRA 学習に必要な GPU メモリ容量を精密に計算します。Llama、DeepSeek、Qwen、およびカスタムモデルのクラスター構成を最新の NVIDIA GPU で正確に計画できます。

モデルとワークロードのパラメータ

量子化と精度

実行モード

8,192 トークン
4,09632,76865,536131,072
1
1163264

VRAM 内訳

モデル重み810 GB
KV キャッシュ3.94 GB
アクティベーションオーバーヘッド3.15 GB
CUDA ランタイム2 GB
必要 VRAM 合計819.09 GB

Denpex 開発者向けツール

2,000 以上の環境で導入されている Denpex VS Code / Open VSX 拡張機能でリアルタイム診断を実行できます。ログのオフライン解析には GPU ログ解析ツール をご利用ください。

ハードウェアクラスタ規模と推奨 GPU

同時実行の余裕を含めて 819.09 GB の VRAM を安全に収容するための推定最小 GPU 基数です。

GPU アクセラレータGPU あたり VRAM必要基数推定使用率
NVIDIA B200192 GB5 基85%
NVIDIA H200141 GB6 基97%
NVIDIA H10080 GB11 基93%
NVIDIA A10080 GB11 基93%
NVIDIA RTX PRO 6000 Blackwell96 GB9 基95%
NVIDIA L40S48 GB18 基95%
NVIDIA RTX 509032 GB26 基98%
NVIDIA RTX 409024 GB35 基98%

Llama 3.1 405B で OOM や vLLM 停止が発生した場合の切り分け

Llama 3.1 405B のデプロイ時に CUDA out of memory や KV キャッシュ不足、NCCL 停止に遭遇した場合は以下から原因を確認できます。

他の主要モデル VRAM ガイド

よくある質問

Llama 3.1 405B のモデル重みだけで必要な VRAM 容量はいくつですか?

Llama 3.1 405B の重み単体は FP16 で約 810.0 GB、FP8/INT8 で約 405.0 GB、INT4 で約 202.5 GB です。実運用ではさらに KV キャッシュと活性化・CUDA 実行枠が必要です。

Llama 3.1 405B の推奨 GPU 構成と並列化設定は?

代表的な構成は 8x H100 (80GB) (Tensor Parallelism 8) です。長文コンテキストや高スループット時は NVLink 帯域と KV キャッシュ余裕を確保してください。

Llama 3.1 405B の FP16 KV キャッシュは 8k / 32k トークンでどのくらい増えますか?

バッチサイズ 1・FP16 の KV キャッシュ換算で、8k トークン時は 3.94 GB、32k トークン時は 15.75 GB を消費します。同時実行数に比例して増えるため、vLLM では FP8 KV キャッシュや並列数調整が有効です。

Denpex を 30 日間お試し。 無料。

クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。

30日間の無料 Team 評価を開始

30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。

会社のメールアドレスをご入力ください (例: taro@yourcompany.co.jp)。

対象条件について

法人ドメインのメールアドレスで認証が完了すると、30日間の Team 評価版 (1日最大50件診断) が有効化されます。自動判定できないドメインは support@denpex.com で手動確認いたします。エディタ拡張機能でのローカル診断はアカウント不要です。

個人メール (Gmail・Outlook 等) や個人環境をお使いですか? $0 無料アカウントを作成 (個人メール可) すると 7 日間の履歴保存や AI フォールバックが使えます。また、障害ログを送って個別ウォークスルーを依頼することも可能です。