Skip to content

Mistral Small 3.1 24B 顯存需求與 GPU 叢集試算指南

於瀏覽器本機精準試算 Mistral Small 3.1 24B 推論與微調所需顯存、GQA/MLA KV 快取增量與張量並行 (TP) 配置基準。

Dense 模型
總參數量
24B
推論激活參數
24B
最大上下文
128k tokens
建議 GPU 叢集
1x A100/H100 (80GB) or 1x RTX 5090 (32GB FP8)

Mistral Small 3.1 24B 各精度顯存佔用一覽 (單一併發基準)

量化精度模型權重KV 快取 (8k)啟動值與 CUDA 預留推論合計估算
FP16 / BF1648.0 GB1.25 GB~3 GB52.3 GB
FP8 / INT824.0 GB0.63 GB~3 GB27.6 GB
INT4 / AWQ / GPTQ12.0 GB0.63 GB~3 GB15.6 GB

Mistral Small 3.1 24B KV 快取成長估算 (FP16 / Batch 1)

Mistral Small 3.1 24B 採用 分組查詢注意力 GQA (8 個 KV 頭 / 32 個 Query 頭) 機制,KV 快取隨上下文長度成長如下:

8k 上下文
1.25 GB
32k 上下文
5.00 GB
128k 上下文
20.00 GB

互動式顯存規格計算機

調整上下文長度、批次大小、精度與執行模式 (推論 / LoRA / 全量微調) 即時試算。

免費大模型顯存計算機

精準估算大型語言模型推論、全量微調與 LoRA 訓練所需的 GPU 顯存佔用。支援 Llama、DeepSeek、Qwen 與自訂模型在現代 NVIDIA 加速卡上的多卡叢集規劃。

模型與工作負載參數

量化與精度

執行模式

8,192 tokens
4,09632,76865,536131,072
1
1163264

顯存佔用明細

模型權重48 GB
KV 快取1.25 GB
啟用值開銷0.25 GB
CUDA 執行階段2 GB
所需總顯存51.5 GB

Denpex 開發者工具

安裝累積超過 2,000 次活躍安裝的 Denpex VS Code 與 Open VSX 擴充套件進行即時診斷,或使用 離線 GPU 日誌分析器 在瀏覽器本機零上傳解析日誌。

硬體叢集規劃與 GPU 推薦配置

包含併發餘量在內,穩定承載 51.5 GB 顯存所需的預估最低 GPU 張數。

GPU 加速卡單卡顯存所需張數預估顯存利用率
NVIDIA B200192 GB1 張 GPU27%
NVIDIA H200141 GB1 張 GPU37%
NVIDIA H10080 GB1 張 GPU64%
NVIDIA A10080 GB1 張 GPU64%
NVIDIA RTX PRO 6000 Blackwell96 GB1 張 GPU54%
NVIDIA L40S48 GB2 張 GPU54%
NVIDIA RTX 509032 GB2 張 GPU80%
NVIDIA RTX 409024 GB3 張 GPU72%

執行 Mistral Small 3.1 24B 遇到 OOM 或 vLLM 中止怎麼辦?

部署或微調 Mistral Small 3.1 24B 時若遭遇 CUDA out of memory、KV 快取不足或 NCCL 逾時,可從下方快速排查。

其他熱門開源模型顯存試算

常見問題

單獨載入 Mistral Small 3.1 24B 模型權重需要多少 GPU 顯存?

僅權重本身於 FP16 約需 48.0 GB,FP8/INT8 約 24.0 GB,INT4 約 12.0 GB。實際運行時還需加上 KV 快取、啟動值與 CUDA 執行環境空間。

Mistral Small 3.1 24B 的建議硬體規格與多卡並行方式為何?

典型建議為 1x A100/H100 (80GB) or 1x RTX 5090 (32GB FP8) (None (single GPU))。若為長上下文或高併發服務,請優先保留 NVLink 頻寬與 KV 快取空間。

Mistral Small 3.1 24B 在 FP16 下 8k 與 32k 上下文的 KV 快取需求是多少?

於 Batch 1 與 FP16 條件下,8k 上下文約佔 1.25 GB,32k 約佔 5.00 GB。高併發服務建議搭配 FP8 KV 快取或提升 TP 並行數。

免費試用 Denpex 30 天。完全免費。

無需信用卡,無自動續訂。使用團隊已結案的故障日誌親自驗證診斷精準度。

開啟 30 天免費 Team 團隊評估

30 天內每日最多 50 次診斷。驗證企業工作信箱即可啟用試用,重現已解決的歷史故障並將根因證據與團隊確認結論比對。

請使用公司網域信箱,例如 alex@yourcompany.com。

適用資格說明

通過信箱與企業網域驗證即可啟用 30 天 Team 評估(每日最多 50 次診斷)。若網域無法自動驗證,可聯繫 support@denpex.com 人工審核。編輯器擴充套件的本機離線診斷無需帳號。

使用個人信箱(Gmail、Outlook、Yahoo)或個人叢集?建立 $0 免費帳號(不需工作信箱) 以保存 7 天紀錄並啟用 AI 診斷,或傳送叢集故障日誌預約展示。