vLLM 推論メモリ不足
vLLM KV キャッシュ不足 (No available memory for the cache blocks)
モデルの重み、CUDA Graph、プロファイル時の一時バッファを確保した後に KV キャッシュ用ブロックを割り当てる空き VRAM が不足しています。
代表的なログシグネチャ
ValueError: No available memory for the cache blocks. Try increasing gpu_memory_utilization when initializing the engine.根本原因と二次症状の見分け方
指定された `max_model_len` に対して `gpu_memory_utilization` の残り容量が足りない、またはバックグラウンドプロセスが同じ GPU を占有しています。
再起動・再試行前に収集すべき証拠コマンド
nvidia-smi --query-gpu=index,memory.used,memory.free,memory.total --format=csv
python3 -m vllm.entrypoints.openai.api_server --model <MODEL> --tensor-parallel-size 4 --gpu-memory-utilization 0.92 --max-model-len 16384 --kv-cache-dtype fp8安全な切り分けと復旧ステップ
- `nvidia-smi` で他プロセスが VRAM を消費していないか最初に確認します。
- `/ja/vram-calculator` でモデル重みと目標コンテキスト長ごとの KV キャッシュ容量を試算します。
- `--tensor-parallel-size` 拡大、`--max-model-len` 短縮、`--kv-cache-dtype fp8`、または `--gpu-memory-utilization 0.92` を検討します。
登録不要のライブ診断
お手元のログで最初の故障原因を無料チェック
生ログを貼り付けると、ブラウザ内で機密値を自動マスクして起点ノードや二次エラーを切り分けます。
アップロード前に クラウドでのデータ取り扱いと完全ローカル実行の選択肢 をご確認ください。
training_logs.txt
手元にログがない場合はサンプルでお試しください:
ログファイルを選択してください。大きなファイルはブラウザ内で整形され、抽出された証跡のみが診断に送信されます。
1日3回まで無料のクラウド診断
よくある質問
モデルの重みサイズは GPU に収まっているのに失敗するのはなぜですか?
重み以外に CUDA Graph キャプチャ、最大シーケンス長分の KV ブロック、中間活性化ワークスペースが必要になるためです。
`--enforce-eager` は効果がありますか?
はい。CUDA Graph 用メモリを節約できるため検証やギリギリの構成確認に有効ですが、通常時はスループットが低下する場合があります。
関連する日本語 GPU 障害ガイド
vLLM EngineCore プロセス突然死 診断ガイドCUDA out of memory (PyTorch / vLLM VRAM 不足) 診断と対策ホスト RAM OOM-killer (SIGKILL / exit 137) 診断無料 LLM VRAM 計算機で試算
英語版の完全データベース詳細:English Technical Reference を開く
Denpex を 30 日間お試し。 無料。
クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。
30日間の無料 Team 評価を開始
30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。