vLLM 工作行程崩潰
vLLM EngineCore 背景行程意外中止排查
前端 HTTP 介面常只留下連線中斷或 500 錯,真正根源多半是容器 `/dev/shm` 不足、主機 RAM OOM 或背景 GPU Worker 拋出 CUDA/Xid 例外。
典型日誌特徵
RuntimeError: EngineCore in background process died unexpectedly / Worker_TP2 exited with exit code -7 (SIGBUS)根本原因與連鎖症狀辨析
Docker 預設僅有 64MB `/dev/shm` 引發 `SIGBUS` (exit -7)、缺少 `--ipc=host`,或長文請求拉高系統記憶體而觸發核心 OOM-killer。
重開機前務必先保存的取證指令
df -h /dev/shm
dmesg -T | grep -i -E "oom-kill|nvrm|xid|sigbus"
docker inspect <CONTAINER> --format '{{.HostConfig.IpcMode}} shm={{.HostConfig.ShmSize}}'安全排查與修復步驟
- 執行 `df -h /dev/shm` 並檢查 Docker `--shm-size` / `--ipc=host` 或 Kubernetes `emptyDir` 記憶體設定。
- 用 `dmesg -T` 搜尋有無 `oom-kill`、`NVRM Xid` 或 `SIGBUS` 紀錄。
- 直接追蹤後端 Worker stderr 日誌中的第一段完整異常訊息。
training_logs.txt
手邊沒有日誌?點此載入範例:
大型日誌檔會在您的瀏覽器本機端先濃縮擷取,執行診斷時僅送出關鍵證據片段。
每日 3 次免費雲端診斷額度
常見問題
exit code -7 (SIGBUS) 最常見的原因是什麼?
幾乎都是容器 `/dev/shm` 共享記憶體空間過小導致行程讀寫崩潰,調大 `--shm-size` 即可明顯改善。
為何啟動都正常,開始服務長上下文請求就當掉?
長請求會同時放大共享記憶體、主機張量緩衝與推論核心負擔,須一併檢視宿主 RAM 與驅動版本。
相關繁體中文 GPU 排錯指南
vLLM KV 快取不足 (No available memory for the cache blocks)CUDA out of memory (GPU 顯存耗盡與碎片) 排查指南NVIDIA Xid 79 (GPU 脫離 PCIe 匯流排) 診斷步驟開啟免費 LLM 顯存計算機
英文完整知識庫條目:檢視完整英文參考 (English)
免費試用 Denpex 30 天。完全免費。
無需信用卡,無自動續訂。使用團隊已結案的故障日誌親自驗證診斷精準度。
開啟 30 天免費 Team 團隊評估
30 天內每日最多 50 次診斷。驗證企業工作信箱即可啟用試用,重現已解決的歷史故障並將根因證據與團隊確認結論比對。