Mistral Small 3.1 24B VRAM-Bedarf & GPU-Cluster-Dimensionierung
Berechnen Sie direkt im Browser den genauen GPU-Speicher für Mistral Small 3.1 24B Gewichte, GQA/MLA KV-Cache und Tensor-Parallelismus auf A100, H100, H200 und RTX 5090.
Mistral Small 3.1 24B VRAM-Verbrauch nach Genauigkeit (Batch 1)
| Präzision | Modellgewichte | KV-Cache (8k) | Aktivierung + CUDA | Gesamtbedarf (ca.) |
|---|---|---|---|---|
| FP16 / BF16 | 48.0 GB | 1.25 GB | ~3 GB | 52.3 GB |
| FP8 / INT8 | 24.0 GB | 0.63 GB | ~3 GB | 27.6 GB |
| INT4 / AWQ / GPTQ | 12.0 GB | 0.63 GB | ~3 GB | 15.6 GB |
Mistral Small 3.1 24B KV-Cache-Skalierung (FP16 / Batch 1)
Mistral Small 3.1 24B nutzt Grouped-Query Attention (8 KV-Heads / 32 Query-Heads) und skaliert mit der Kontextlänge wie folgt:
Interaktiver VRAM-Rechner
Passen Sie Batch-Größe, Kontextlänge, Quantisierung und Inferenz/LoRA/Full-Training interaktiv an.
Kostenloser LLM-VRAM-Rechner
Berechnen Sie den genauen GPU-Speicherbedarf für Inferenz, Full-Fine-Tuning und LoRA-Training. Planen Sie Ihre Cluster-Architektur präzise für Llama, DeepSeek, Qwen und eigene Modelle auf modernen NVIDIA-Beschleunigern.
Modell- und Workload-Parameter
Quantisierung und Präzision
Ausführungsmodus
VRAM-Aufschlüsselung
Denpex Entwickler-Tools
Installieren Sie die Denpex-Erweiterung für VS Code und Open VSX (über 2.000 aktive Installationen) für Echtzeit-Diagnosen. Analysieren Sie Log-Dateien direkt lokal im Browser mit unserem GPU-Log-Analyzer.
Hardware-Cluster-Planung und GPU-Empfehlungen
Geschätzte Mindestanzahl an GPUs, um 51.5 GB VRAM sicher mit Reserve für parallele Anfragen bereitzustellen.
| GPU-Beschleuniger | VRAM pro GPU | Erforderliche Anzahl | Geschätzte Auslastung |
|---|---|---|---|
| NVIDIA B200 | 192 GB | 1 GPU | 27% |
| NVIDIA H200 | 141 GB | 1 GPU | 37% |
| NVIDIA H100 | 80 GB | 1 GPU | 64% |
| NVIDIA A100 | 80 GB | 1 GPU | 64% |
| NVIDIA RTX PRO 6000 Blackwell | 96 GB | 1 GPU | 54% |
| NVIDIA L40S | 48 GB | 2 GPUs | 54% |
| NVIDIA RTX 5090 | 32 GB | 2 GPUs | 80% |
| NVIDIA RTX 4090 | 24 GB | 3 GPUs | 72% |
OOM oder vLLM-Fehler bei Mistral Small 3.1 24B beheben
Bei CUDA out of memory, KV-Cache-Engpässen oder NCCL-Abbrüchen rund um Mistral Small 3.1 24B helfen diese deutschen Triage-Leitfäden.
Allokator-Fragmentierung von echtem Speichermangel sauber unterscheiden.
Behebung von No available memory for the cache blocks über TP und max_model_len.
EngineCore-Abstürze und /dev/shm Limits in Multi-GPU-Containern lösen.
Offline-Log-Analyzer, NCCL-Decoder und Treiber-Prüfung ohne Login.
VRAM-Rechner für weitere Top-Modelle
Häufige Fragen
Wie viel VRAM benötigen allein die Gewichte von Mistral Small 3.1 24B?
In FP16 belegen die Modellgewichte rund 48.0 GB, in FP8/INT8 rund 24.0 GB und in INT4 rund 12.0 GB. Für stabilen Betrieb kommen KV-Cache, Aktivierungen und CUDA-Runtime hinzu.
Welches GPU-Setup wird für Mistral Small 3.1 24B empfohlen?
Als Standard-Setup gilt 1x A100/H100 (80GB) or 1x RTX 5090 (32GB FP8) (None (single GPU)). Bei großen Kontexten oder hoher Nebenläufigkeit ist ausreichend NVLink- und HBM-Reserve einzuplanen.
Wie groß ist der FP16 KV-Cache bei Mistral Small 3.1 24B für 8k und 32k Tokens?
Bei Batch-Größe 1 benötigt der FP16 KV-Cache etwa 1.25 GB bei 8k Tokens und 5.00 GB bei 32k Tokens. Mit parallelen Anfragen steigt der Bedarf linear, sodass FP8-KV-Cache in vLLM oft sinnvoll ist.
Denpex 30 Tage testen. KOSTENLOS.
Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.
Kostenlose 30-tägige Team-Testphase starten
Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.