Skip to content

vLLM / TensorRT-LLM / SGLang 多卡推理

vLLM KV 缓存不足、EngineCore 崩溃与多卡推理显存排障

快速排查 No available memory for the cache blocks、EngineCore died、vLLM-Omni / Ascend 报错以及 DeepSeek V4、Qwen 3.5、GLM-4.5 部署 OOM 问题。

常见故障特征与优先排查矩阵

日志特征故障分类问题说明优先排查建议查看
ValueError: No available memory for the cache blocks显存配置不足模型权重与 CUDA Graph 加载完成后,剩余 HBM 无法满足当前 max_model_len 的 KV 缓存需求。在 /zh/vram-calculator 核对 DeepSeek V4、Qwen 3.5、GLM-4.5 与多卡 TP 显存。查看详解
RuntimeError: EngineCore encountered a fatal exception / died推理进程崩溃vLLM EngineCore 工作子进程因 CUDA 异常、NVFP4 量化兼容问题或主机 OOM 终止。排查 Worker rank 标准错误输出与宿主机 dmesg Xid,而非仅查看 HTTP 500。查看详解
TensorRT-LLM / SGLang / vLLM-Ascend 多卡推理异常多框架服务新加坡及亚太集群中多卡张量并行常因 /dev/shm 不足或 FlashInfer / CUDA 13 不匹配触发异常。参考 TensorRT-LLM、SGLang 与 vLLM 多卡排障指南。查看指南

重启集群前务必先收集的原始现场证据

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

新加坡、亚太及全球 GPU 集群排查指引

浏览器本地免费 GPU 工具与手册

常见问题解答

遇到 No available memory for the cache blocks 如何快速调整?

通常说明加载权重与 CUDA Graph 后可用 HBM 不足以支撑指定序列长度或并发数,可在 /zh/vram-calculator 核对 FP8 与 TP 策略。

为什么多卡张量并行推理常卡在首条请求或报 IPC 错误?

常见于容器未开启 --ipc=host、/dev/shm 空间不足或宿主机 PCIe P2P 通信受限。

$0 免费账号与 30 天 Team 评估 (无需信用卡 · 支持公司税号与发票)

任何个人邮箱均可创建 $0 免费账号并在浏览器或 VS Code 本地使用。企业订阅支持全球公司卡及 Stripe GST/VAT/企业税号账单字段,同时支持年度对公发票与电汇开通。