H100 / H200 / B200 / RTX 5090 推論トリアージ
vLLM KV キャッシュ OOM・EngineCore 停止・NVFP4 障害対策
No available memory for the cache blocks、EngineCore died、TensorRT-LLM / SGLang との混在クラッシュ、NVFP4・Gemma 4・Qwen 3.5・DeepSeek V4 起動失敗の一次切り分け手順です。
主な障害パターンと初期対応
| ログ署名 | 分類 | 意味 | 最初の確認点 | 詳細 |
|---|---|---|---|---|
| ValueError: No available memory for the cache blocks | メモリ不足 | モデルの重みと CUDA Graph を確保した後、KV キャッシュ用 VRAM が不足しています。 | max_model_len や gpu_memory_utilization、テンソル並列数を /ja/vram-calculator で検証します。 | 詳細を見る |
| RuntimeError: EngineCore encountered a fatal exception / died | ワーカー異常 | vLLM EngineCore サブプロセスが CUDA 例外、NVFP4 カーネル不整合、またはホスト OOM で終了しました。 | HTTP API ログではなくワーカー rank の標準出力と dmesg Xid を確認します。 | 詳細を見る |
| vllm-omni / NVFP4 emulation or FlashInfer SM architecture error | 環境互換性 | Hopper (SM90) と Blackwell (SM100) 向け量子化カーネルと CUDA / ドライバ版の不一致です。 | CUDA 13 / PyTorch 互換表と NVFP4 トリアージ手順を確認します。 | ガイドを見る |
現場で最初に保全すべきコマンド出力
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1日本および主要 GPU クラウド障害トリアージ
ブラウザ完結の無料 GPU ツールと資料
よくある質問
No available memory for the cache blocks が出たら何を見ますか?
モデルの重み、CUDA Graph、通信バッファを差し引いた後の実効 VRAM 不足です。/ja/vram-calculator でコンテキスト長と並列数 (TP) を再計算してください。
NVFP4 や vLLM-Omni 実行時の CUDA illegal memory access の原因は?
GPU アーキテクチャ (SM90 vs SM100) に対する量子化カーネル不整合や FlashInfer バージョン差で起きることが多く、まず --enforce-eager で再現を確認します。
$0 無料プランと 30 日間チーム評価 (カード不要・請求書 / JCB 対応)
個人・法人を問わず Gmail 等で $0 無料アカウントを作成できます。チーム評価 (月 $415 年間契約 / $499 月払い相当) では Stripe チェックアウトで JCB・各種法人カードおよび適格請求書 / VAT・GST 番号入力に対応し、銀行振込による年額インボイスも発行可能です。