Skip to content

vLLM / TensorRT-LLM / SGLang 多卡推論中心

vLLM KV 快取不足、EngineCore 中止與多卡推論顯存排查

快速定位 No available memory for the cache blocks、EngineCore died、vLLM-Omni 及 DeepSeek V4 / Qwen 3.5 / GLM-4.5 在 H100 與 RTX 5090 上的配置錯誤。

常見故障特徵與優先排查矩陣

日誌特徵故障類別原因說明優先排查方向檢視
ValueError: No available memory for the cache blocks顯存容量不足載入模型權重與 CUDA Graph 後,剩餘 HBM 不足以配置指定的 KV 快取區塊。使用 /zh-tw/vram-calculator 重新計算張量並行 (TP)、max_model_len 與 FP8 量化空間。檢視詳情
RuntimeError: EngineCore encountered a fatal exception / died推論引擎崩潰vLLM EngineCore 背景程序因 CUDA 非法記憶體存取、主機 OOM 或硬體 Xid 中止。比對實際 Worker stderr 與主機 dmesg Xid,不要只看 API 500 錯誤。檢視詳情
TensorRT-LLM MPI_ABORT / SGLang FlashInfer 記憶體溢出多卡推論框架TWCC 或 Ubilink H100 上執行多卡 TensorRT-LLM、SGLang 或 vLLM-Omni 時發生 IPC 或編譯超限。檢查 /dev/shm 容量與多框架顯存排查指南。檢視指南

重啟任務前務必先保留的診斷輸出

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

台灣、港澳與全球 GPU 叢集故障排查

免上傳瀏覽器端免費 GPU 工具

常見問題

出現 No available memory for the cache blocks 該先檢查什麼?

模型權重與 CUDA Graph 預留後剩餘顯存不足。請先於 /zh-tw/vram-calculator 調整 max_model_len、FP8 量化或張量並行數。

為何 TP 多卡推論在容器內容易卡死或觸發 EngineCore 崩潰?

常見原因為 Docker/K8s 的 /dev/shm 過小、缺少 --ipc=host 或 GPU P2P 存取限制,導致自訂 AllReduce 通訊失敗。

$0 免費帳號與 30 天 Team 團隊評估 (免信用卡 · 支援統編/發票)

個人或團隊信箱皆可立即建立 $0 免費帳號。透過 Stripe 結帳時可自動填寫公司統一編號 / 稅籍編號與帳單地址,亦支援申請年度企業正式發票與銀行電匯付款。