Skip to content
GPU メモリ不足・断片化

CUDA out of memory (PyTorch / vLLM VRAM 不足) 診断と対策

モデル重み・勾配・Optimizer・活性化または KV キャッシュが空き HBM を超えた状態ですが、reserved が大きい場合はメモリ断片化が真因のケースも多くあります。

代表的なログシグネチャ

torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 79.15 GiB total capacity; 75.80 GiB already allocated; 1.12 GiB free)

根本原因と二次症状の見分け方

CUDA OOM メッセージの `allocated` が GPU 容量より大幅に小さく `reserved` が上限近くにある場合、キャッシュアロケータの断片化が原因です。逆に両方とも上限なら、バッチサイズ・コンテキスト長・ZeRO ステージ・精度の見直しが必要です。

再起動・再試行前に収集すべき証拠コマンド

nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
export PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True,max_split_size_mb:128"
python3 -c "import torch; print(torch.cuda.memory_summary())"

安全な切り分けと復旧ステップ

  1. エラー文の `reserved in total by PyTorch` と `already allocated` の差を比較し、断片化か実容量超過かを判定します。
  2. 断片化が主因なら `PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True` を設定して再実行します。
  3. 実容量不足の場合は gradient checkpointing の有効化、micro batch 削減、または TP/FSDP 分割を増やします。
登録不要のライブ診断

お手元のログで最初の故障原因を無料チェック

生ログを貼り付けると、ブラウザ内で機密値を自動マスクして起点ノードや二次エラーを切り分けます。

アップロード前に クラウドでのデータ取り扱いと完全ローカル実行の選択肢 をご確認ください。

training_logs.txt
手元にログがない場合はサンプルでお試しください:

ログファイルを選択してください。大きなファイルはブラウザ内で整形され、抽出された証跡のみが診断に送信されます。

1日3回まで無料のクラウド診断

よくある質問

nvidia-smi で空きがあるのに CUDA out of memory になるのはなぜですか?

プロセス内で予約済み (reserved) の連続領域が不足している断片化、または他のプロセスや別 Rank が同一 GPU を共有している可能性があります。

VRAM 不足を事前に防ぐ方法はありますか?

無料 LLM VRAM 計算機 (/ja/vram-calculator) で重みとコンテキスト長ごとの KV キャッシュを見積もれます。

関連する日本語 GPU 障害ガイド

英語版の完全データベース詳細:English Technical Reference を開く

Denpex を 30 日間お試し。 無料。

クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。

30日間の無料 Team 評価を開始

30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。

会社のメールアドレスをご入力ください (例: taro@yourcompany.co.jp)。

対象条件について

法人ドメインのメールアドレスで認証が完了すると、30日間の Team 評価版 (1日最大50件診断) が有効化されます。自動判定できないドメインは support@denpex.com で手動確認いたします。エディタ拡張機能でのローカル診断はアカウント不要です。

個人メール (Gmail・Outlook 等) や個人環境をお使いですか? $0 無料アカウントを作成 (個人メール可) すると 7 日間の履歴保存や AI フォールバックが使えます。また、障害ログを送って個別ウォークスルーを依頼することも可能です。