vLLM / TensorRT-LLM / SGLang 多卡推理
vLLM KV 缓存不足、EngineCore 崩溃与多卡推理显存排障
快速排查 No available memory for the cache blocks、EngineCore died、vLLM-Omni / Ascend 报错以及 DeepSeek V4、Qwen 3.5、GLM-4.5 部署 OOM 问题。
常见故障特征与优先排查矩阵
| 日志特征 | 故障分类 | 问题说明 | 优先排查建议 | 查看 |
|---|---|---|---|---|
| ValueError: No available memory for the cache blocks | 显存配置不足 | 模型权重与 CUDA Graph 加载完成后,剩余 HBM 无法满足当前 max_model_len 的 KV 缓存需求。 | 在 /zh/vram-calculator 核对 DeepSeek V4、Qwen 3.5、GLM-4.5 与多卡 TP 显存。 | 查看详解 |
| RuntimeError: EngineCore encountered a fatal exception / died | 推理进程崩溃 | vLLM EngineCore 工作子进程因 CUDA 异常、NVFP4 量化兼容问题或主机 OOM 终止。 | 排查 Worker rank 标准错误输出与宿主机 dmesg Xid,而非仅查看 HTTP 500。 | 查看详解 |
| TensorRT-LLM / SGLang / vLLM-Ascend 多卡推理异常 | 多框架服务 | 新加坡及亚太集群中多卡张量并行常因 /dev/shm 不足或 FlashInfer / CUDA 13 不匹配触发异常。 | 参考 TensorRT-LLM、SGLang 与 vLLM 多卡排障指南。 | 查看指南 |
重启集群前务必先收集的原始现场证据
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1新加坡、亚太及全球 GPU 集群排查指引
浏览器本地免费 GPU 工具与手册
常见问题解答
遇到 No available memory for the cache blocks 如何快速调整?
通常说明加载权重与 CUDA Graph 后可用 HBM 不足以支撑指定序列长度或并发数,可在 /zh/vram-calculator 核对 FP8 与 TP 策略。
为什么多卡张量并行推理常卡在首条请求或报 IPC 错误?
常见于容器未开启 --ipc=host、/dev/shm 空间不足或宿主机 PCIe P2P 通信受限。
$0 免费账号与 30 天 Team 评估 (无需信用卡 · 支持公司税号与发票)
任何个人邮箱均可创建 $0 免费账号并在浏览器或 VS Code 本地使用。企业订阅支持全球公司卡及 Stripe GST/VAT/企业税号账单字段,同时支持年度对公发票与电汇开通。