Skip to content
vLLM ワーカー異常終了

vLLM EngineCore プロセス突然死 診断ガイド

フロントの API サーバーは 500/停止ログしか出しませんが、背後では `/dev/shm` 枯渇、ホスト OOM、または Worker GPU の CUDA/Xid 例外で EngineCore が強制終了しています。

代表的なログシグネチャ

RuntimeError: EngineCore in background process died unexpectedly / Worker_TP2 exited with exit code -7 (SIGBUS)

根本原因と二次症状の見分け方

Docker や Kubernetes で `/dev/shm` がデフォルト 64MB のまま、あるいは `--ipc=host` 欠落、カーネル OOM-killer (`SIGKILL`)、または CUDA illegal memory access が典型原因です。

再起動・再試行前に収集すべき証拠コマンド

df -h /dev/shm
dmesg -T | grep -i -E "oom-kill|nvrm|xid|sigbus"
docker inspect <CONTAINER> --format '{{.HostConfig.IpcMode}} shm={{.HostConfig.ShmSize}}'

安全な切り分けと復旧ステップ

  1. `df -h /dev/shm` とコンテナの `ShmSize` / `IpcMode` を確認し、マルチ GPU 時は拡張します。
  2. `dmesg -T` で `oom-kill`、`NVRM Xid`、`SIGBUS` の発生有無を確認します。
  3. API 側ではなく実際の worker stderr ログから最初の Python / CUDA スタックトレースを取得します。
登録不要のライブ診断

お手元のログで最初の故障原因を無料チェック

生ログを貼り付けると、ブラウザ内で機密値を自動マスクして起点ノードや二次エラーを切り分けます。

アップロード前に クラウドでのデータ取り扱いと完全ローカル実行の選択肢 をご確認ください。

training_logs.txt
手元にログがない場合はサンプルでお試しください:

ログファイルを選択してください。大きなファイルはブラウザ内で整形され、抽出された証跡のみが診断に送信されます。

1日3回まで無料のクラウド診断

よくある質問

exit code -7 (SIGBUS) が出る最も多い原因は何ですか?

コンテナの共有メモリ `/dev/shm` 不足です。Docker なら `--shm-size=16g` 相当または `--ipc=host`、K8s なら `emptyDir (medium: Memory)` を設定してください。

再起動すると数分後にまた落ちるのはなぜですか?

特定リクエスト長や並列バッチでのホストメモリ増大・CUDA Graph・量子化カーネル不整合が再現している可能性が高いです。

関連する日本語 GPU 障害ガイド

英語版の完全データベース詳細:English Technical Reference を開く

Denpex を 30 日間お試し。 無料。

クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。

30日間の無料 Team 評価を開始

30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。

会社のメールアドレスをご入力ください (例: taro@yourcompany.co.jp)。

対象条件について

法人ドメインのメールアドレスで認証が完了すると、30日間の Team 評価版 (1日最大50件診断) が有効化されます。自動判定できないドメインは support@denpex.com で手動確認いたします。エディタ拡張機能でのローカル診断はアカウント不要です。

個人メール (Gmail・Outlook 等) や個人環境をお使いですか? $0 無料アカウントを作成 (個人メール可) すると 7 日間の履歴保存や AI フォールバックが使えます。また、障害ログを送って個別ウォークスルーを依頼することも可能です。