Skip to content
顯存容量 / 配置器碎片

CUDA out of memory (GPU 顯存耗盡與碎片) 排查指南

雖然畫面皆顯示顯存不足,但實務上常見兩種狀況:HBM 容量確實見底,或 PyTorch 配置器內部產生記憶體碎片導致無法切出連續區塊。

典型日誌特徵

torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 79.15 GiB total capacity; 75.80 GiB already allocated; 1.12 GiB free)

根本原因與連鎖症狀辨析

若錯誤中的 `allocated` 遠低於顯示卡上限,而 `reserved` 幾乎佔滿顯存,代表記憶體碎片化;若兩者皆逼近上限,則須縮減批次、上下文或增加張量並行。

重開機前務必先保存的取證指令

nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
export PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True,max_split_size_mb:128"
python3 -c "import torch; print(torch.cuda.memory_summary())"

安全排查與修復步驟

  1. 比對報錯訊息內的 `already allocated` 與 `reserved in total by PyTorch`,先確認是否為碎片化。
  2. 若保留與實際配置差距甚大,請加入 `PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True` 重試。
  3. 確屬容量不足時,可啟用 activation checkpointing、降低微批次、或擴展 TP/FSDP 節點數。
免註冊即時診斷

貼上您的 GPU 日誌,立即排查首發故障

送出前會在瀏覽器本機自動遮罩 IP、金鑰與私有路徑,精準鎖定根因。

上傳前請先檢視 雲端資料處理說明與完全本機離線選項。

training_logs.txt
手邊沒有日誌?點此載入範例:

大型日誌檔會在您的瀏覽器本機端先濃縮擷取,執行診斷時僅送出關鍵證據片段。

每日 3 次免費雲端診斷額度

常見問題

nvidia-smi 顯示還有好幾 GB 可用卻報 CUDA OOM 是為什麼?

可能是現有保留區塊被切碎無法配出大型連續張量,或同台機器另有行程正佔用同一張顯示卡。

如何在部署前預先試算需要多少張 GPU?

請使用 Denpex 繁體中文顯存計算機(/zh-tw/vram-calculator)即時估算權重與 KV 快取。

相關繁體中文 GPU 排錯指南

英文完整知識庫條目:檢視完整英文參考 (English)

免費試用 Denpex 30 天。完全免費。

無需信用卡,無自動續訂。使用團隊已結案的故障日誌親自驗證診斷精準度。

開啟 30 天免費 Team 團隊評估

30 天內每日最多 50 次診斷。驗證企業工作信箱即可啟用試用,重現已解決的歷史故障並將根因證據與團隊確認結論比對。

請使用公司網域信箱,例如 alex@yourcompany.com。

適用資格說明

通過信箱與企業網域驗證即可啟用 30 天 Team 評估(每日最多 50 次診斷)。若網域無法自動驗證,可聯繫 support@denpex.com 人工審核。編輯器擴充套件的本機離線診斷無需帳號。

使用個人信箱(Gmail、Outlook、Yahoo)或個人叢集?建立 $0 免費帳號(不需工作信箱) 以保存 7 天紀錄並啟用 AI 診斷,或傳送叢集故障日誌預約展示。