Skip to content

Qwen 3 235B A22B VRAM 容量要件・GPU 構成ガイド

Qwen 3 235B A22B の推論およびファインチューニングに必要な GPU メモリ、GQA/MLA KV キャッシュ増分、テンソル並列 (TP) 構成の基準値をブラウザ上で試算できます。

MoE アーキテクチャ
総パラメータ数
235B
推論時アクティブ重み
22B
最大コンテキスト
128k トークン
推奨 GPU 構成
4x H100 (80GB FP8) or 8x H100 (BF16)

Qwen 3 235B A22B の精度別 VRAM 消費量 (単一バッチ目安)

量子化精度モデル重みKV キャッシュ (8k)活性化・CUDA 実行枠推論合計目安
FP16 / BF16470.0 GB1.47 GB~3 GB474.5 GB
FP8 / INT8235.0 GB0.73 GB~3 GB238.7 GB
INT4 / AWQ / GPTQ117.5 GB0.73 GB~3 GB121.2 GB

Qwen 3 235B A22B の KV キャッシュ増加傾向 (FP16 / バッチ 1)

Qwen 3 235B A22B は Grouped-Query Attention (KV ヘッド 4 / Query ヘッド 64) 構造を採用しており、コンテキスト長に応じて次のように増加します。

8k トークン
1.47 GB
32k トークン
5.88 GB
128k トークン
23.50 GB

対話型 VRAM サイジング計算機

コンテキスト長、バッチサイズ、量子化、学習モード (LoRA / Full) を変更して実環境に合わせて試算できます。

無料 LLM VRAM 計算機

推論、フルファインチューニング、LoRA 学習に必要な GPU メモリ容量を精密に計算します。Llama、DeepSeek、Qwen、およびカスタムモデルのクラスター構成を最新の NVIDIA GPU で正確に計画できます。

モデルとワークロードのパラメータ

量子化と精度

実行モード

8,192 トークン
4,09632,76865,536131,072
1
1163264

VRAM 内訳

モデル重み470 GB
KV キャッシュ1.47 GB
アクティベーションオーバーヘッド1.18 GB
CUDA ランタイム2 GB
必要 VRAM 合計474.64 GB

Denpex 開発者向けツール

2,000 以上の環境で導入されている Denpex VS Code / Open VSX 拡張機能でリアルタイム診断を実行できます。ログのオフライン解析には GPU ログ解析ツール をご利用ください。

ハードウェアクラスタ規模と推奨 GPU

同時実行の余裕を含めて 474.64 GB の VRAM を安全に収容するための推定最小 GPU 基数です。

GPU アクセラレータGPU あたり VRAM必要基数推定使用率
NVIDIA B200192 GB3 基82%
NVIDIA H200141 GB4 基84%
NVIDIA H10080 GB6 基99%
NVIDIA A10080 GB6 基99%
NVIDIA RTX PRO 6000 Blackwell96 GB5 基99%
NVIDIA L40S48 GB10 基99%
NVIDIA RTX 509032 GB15 基99%
NVIDIA RTX 409024 GB20 基99%

Qwen 3 235B A22B で OOM や vLLM 停止が発生した場合の切り分け

Qwen 3 235B A22B のデプロイ時に CUDA out of memory や KV キャッシュ不足、NCCL 停止に遭遇した場合は以下から原因を確認できます。

他の主要モデル VRAM ガイド

よくある質問

Qwen 3 235B A22B のモデル重みだけで必要な VRAM 容量はいくつですか?

Qwen 3 235B A22B の重み単体は FP16 で約 470.0 GB、FP8/INT8 で約 235.0 GB、INT4 で約 117.5 GB です。実運用ではさらに KV キャッシュと活性化・CUDA 実行枠が必要です。

Qwen 3 235B A22B の推奨 GPU 構成と並列化設定は?

代表的な構成は 4x H100 (80GB FP8) or 8x H100 (BF16) (Tensor Parallelism 4 (FP8) or TP 8 / EP 8 (BF16)) です。長文コンテキストや高スループット時は NVLink 帯域と KV キャッシュ余裕を確保してください。

Qwen 3 235B A22B の FP16 KV キャッシュは 8k / 32k トークンでどのくらい増えますか?

バッチサイズ 1・FP16 の KV キャッシュ換算で、8k トークン時は 1.47 GB、32k トークン時は 5.88 GB を消費します。同時実行数に比例して増えるため、vLLM では FP8 KV キャッシュや並列数調整が有効です。

Denpex を 30 日間お試し。 無料。

クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。

30日間の無料 Team 評価を開始

30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。

会社のメールアドレスをご入力ください (例: taro@yourcompany.co.jp)。

対象条件について

法人ドメインのメールアドレスで認証が完了すると、30日間の Team 評価版 (1日最大50件診断) が有効化されます。自動判定できないドメインは support@denpex.com で手動確認いたします。エディタ拡張機能でのローカル診断はアカウント不要です。

個人メール (Gmail・Outlook 等) や個人環境をお使いですか? $0 無料アカウントを作成 (個人メール可) すると 7 日間の履歴保存や AI フォールバックが使えます。また、障害ログを送って個別ウォークスルーを依頼することも可能です。