Skip to content

Qwen 3 235B A22B VRAM-Bedarf & GPU-Cluster-Dimensionierung

Berechnen Sie direkt im Browser den genauen GPU-Speicher für Qwen 3 235B A22B Gewichte, GQA/MLA KV-Cache und Tensor-Parallelismus auf A100, H100, H200 und RTX 5090.

MoE-Architektur
Gesamtparameter
235B
Aktive Gewichte
22B
Max. Kontext
128k Tokens
Empfohlenes Cluster
4x H100 (80GB FP8) or 8x H100 (BF16)

Qwen 3 235B A22B VRAM-Verbrauch nach Genauigkeit (Batch 1)

PräzisionModellgewichteKV-Cache (8k)Aktivierung + CUDAGesamtbedarf (ca.)
FP16 / BF16470.0 GB1.47 GB~3 GB474.5 GB
FP8 / INT8235.0 GB0.73 GB~3 GB238.7 GB
INT4 / AWQ / GPTQ117.5 GB0.73 GB~3 GB121.2 GB

Qwen 3 235B A22B KV-Cache-Skalierung (FP16 / Batch 1)

Qwen 3 235B A22B nutzt Grouped-Query Attention (4 KV-Heads / 64 Query-Heads) und skaliert mit der Kontextlänge wie folgt:

8k Kontext
1.47 GB
32k Kontext
5.88 GB
128k Kontext
23.50 GB

Interaktiver VRAM-Rechner

Passen Sie Batch-Größe, Kontextlänge, Quantisierung und Inferenz/LoRA/Full-Training interaktiv an.

Kostenloser LLM-VRAM-Rechner

Berechnen Sie den genauen GPU-Speicherbedarf für Inferenz, Full-Fine-Tuning und LoRA-Training. Planen Sie Ihre Cluster-Architektur präzise für Llama, DeepSeek, Qwen und eigene Modelle auf modernen NVIDIA-Beschleunigern.

Modell- und Workload-Parameter

Quantisierung und Präzision

Ausführungsmodus

8,192 Tokens
4,09632,76865,536131,072
1
1163264

VRAM-Aufschlüsselung

Modellgewichte470 GB
KV-Cache1.47 GB
Aktivierungs-Overhead1.18 GB
CUDA-Laufzeit2 GB
Benötigter Gesamt-VRAM474.64 GB

Denpex Entwickler-Tools

Installieren Sie die Denpex-Erweiterung für VS Code und Open VSX (über 2.000 aktive Installationen) für Echtzeit-Diagnosen. Analysieren Sie Log-Dateien direkt lokal im Browser mit unserem GPU-Log-Analyzer.

Hardware-Cluster-Planung und GPU-Empfehlungen

Geschätzte Mindestanzahl an GPUs, um 474.64 GB VRAM sicher mit Reserve für parallele Anfragen bereitzustellen.

GPU-BeschleunigerVRAM pro GPUErforderliche AnzahlGeschätzte Auslastung
NVIDIA B200192 GB3 GPUs82%
NVIDIA H200141 GB4 GPUs84%
NVIDIA H10080 GB6 GPUs99%
NVIDIA A10080 GB6 GPUs99%
NVIDIA RTX PRO 6000 Blackwell96 GB5 GPUs99%
NVIDIA L40S48 GB10 GPUs99%
NVIDIA RTX 509032 GB15 GPUs99%
NVIDIA RTX 409024 GB20 GPUs99%

OOM oder vLLM-Fehler bei Qwen 3 235B A22B beheben

Bei CUDA out of memory, KV-Cache-Engpässen oder NCCL-Abbrüchen rund um Qwen 3 235B A22B helfen diese deutschen Triage-Leitfäden.

VRAM-Rechner für weitere Top-Modelle

Häufige Fragen

Wie viel VRAM benötigen allein die Gewichte von Qwen 3 235B A22B?

In FP16 belegen die Modellgewichte rund 470.0 GB, in FP8/INT8 rund 235.0 GB und in INT4 rund 117.5 GB. Für stabilen Betrieb kommen KV-Cache, Aktivierungen und CUDA-Runtime hinzu.

Welches GPU-Setup wird für Qwen 3 235B A22B empfohlen?

Als Standard-Setup gilt 4x H100 (80GB FP8) or 8x H100 (BF16) (Tensor Parallelism 4 (FP8) or TP 8 / EP 8 (BF16)). Bei großen Kontexten oder hoher Nebenläufigkeit ist ausreichend NVLink- und HBM-Reserve einzuplanen.

Wie groß ist der FP16 KV-Cache bei Qwen 3 235B A22B für 8k und 32k Tokens?

Bei Batch-Größe 1 benötigt der FP16 KV-Cache etwa 1.47 GB bei 8k Tokens und 5.88 GB bei 32k Tokens. Mit parallelen Anfragen steigt der Bedarf linear, sodass FP8-KV-Cache in vLLM oft sinnvoll ist.

Denpex 30 Tage testen. KOSTENLOS.

Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.

Kostenlose 30-tägige Team-Testphase starten

Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.

Verwenden Sie Ihre Firmen-E-Mail, zum Beispiel alex@ihrunternehmen.de.

Wer ist berechtigt?

Unternehmensdomains aktivieren nach E-Mail- und Domainprüfung automatisch die 30-tägige Team-Testphase (bis zu 50 Diagnosen täglich). Falls die automatische Prüfung fehlschlägt, hilft support@denpex.com. Lokale Diagnosen in der IDE-Erweiterung benötigen kein Konto.

Nutzen Sie eine private Adresse (Gmail, Outlook, GMX) oder ein Einzel-Cluster? Kostenloses $0-Konto erstellen (ohne Firmen-E-Mail), um 7 Tage Verlauf zu speichern, oder senden Sie ein Cluster-Crash-Log für eine Live-Analyse.