vLLM 工作进程崩溃
vLLM EngineCore 后台进程意外退出排查
API 入口往往只返回笼统的错误或退出信号,真正致命的 `/dev/shm` 不足、宿主机 OOM 或 CUDA 报错隐藏在后台工作进程与内核日志里。
典型日志特征
RuntimeError: EngineCore in background process died unexpectedly / Worker_TP2 exited with exit code -7 (SIGBUS)根本原因与次生级联症状辨析
Docker 默认仅有 64MB `/dev/shm` 导致 `SIGBUS` (exit -7)、缺少 `--ipc=host` 阻断多卡进程通信、或者宿主机 RAM 被耗尽触发内核杀进程。
重启节点前先收集的取证命令
df -h /dev/shm
dmesg -T | grep -i -E "oom-kill|nvrm|xid|sigbus"
docker inspect <CONTAINER> --format '{{.HostConfig.IpcMode}} shm={{.HostConfig.ShmSize}}'安全排查与恢复步骤
- 执行 `df -h /dev/shm` 并核对 Docker `--shm-size` / `--ipc=host` 或 K8s `emptyDir` 内存卷设置。
- 通过 `dmesg -T` 排查是否发生内核 `oom-kill`、`NVRM Xid` 或总线错误。
- 从工作进程 stderr 获取第一条未截断的 CUDA 或 Python 异常堆栈。
Live diagnosis, no signup
粘贴你的 GPU 日志,立即排查首发故障
提交前会在当前浏览器本地自动遮罩 IP、密钥和私有路径,安全分离根因。
Before uploading, review cloud data handling and local options.
training_logs.txt
No log to hand? Try one:
Upload your log file. Large files are processed in your browser. Only selected evidence is submitted when you run diagnosis.
3 free cloud diagnoses per day
常见问题
报错 Worker exited with exit code -7 (SIGBUS) 是什么原因?
典型是容器 `/dev/shm` 共享内存太小导致多进程映射越界,调大 `--shm-size` 通常可立即消除。
为什么刚启动正常,跑几条长请求就崩溃?
长请求会拉高主机预分配/共享缓冲区和部分核函数开销,需同时检查主机内存与驱动/FlashInfer 兼容性。
相关简体中文 GPU 排障条目
vLLM KV 缓存不足 (No available memory for the cache blocks)CUDA out of memory (GPU 显存不足与碎片) 排查指南NVIDIA Xid 79 (GPU 脱离 PCIe 总线) 排查方案打开免费 LLM 显存计算器
英文完整百科档案:查看完整英文参考 (English)
免费试用 Denpex 30 天。完全免费。
无需信用卡,无自动续费。使用团队已复盘的故障日志亲自验证诊断效果。
开启 30 天免费 Team 团队评估
30 天内每日最多 50 次诊断。验证企业工作邮箱即可激活试用,回放已解决的历史故障并将根因证据与团队确认结论对比。