Skip to content
儲存中斷 / 搶占回收

檢查點檔案損毀與載入失敗 (EOFError) 診斷

看似無故損毀的權重檔,大多來自存檔當下遭遇 Spot 回收、行程被殺或分散式檔案系統 I/O 超時造成的截斷。

典型日誌特徵

EOFError: Ran out of input / RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directory

根本原因與連鎖症狀辨析

若直接寫入正式目錄而非先寫暫存檔再進行原子更名,中斷時便會留下殘缺的 ZIP/Safetensors 分片。請注意,檔案大小看起來沒少並不能證明內容完整。

重開機前務必先保存的取證指令

dmesg -T | grep -i -E "lustre|nfs|ext4|nvme|i/o error|quota"
python3 -c "import zipfile; print(zipfile.ZipFile('model_shard_12.pt').testzip())"
ls -la --time-style=full-iso checkpoints/step_8000/

安全排查與修復步驟

  1. 比對分片寫入時間與 `dmesg` 儲存裝置/Lustre 錯誤及雲端平台回收事件。
  2. 透過 `zipfile.testzip()`、Safetensors 標頭檢驗或 SHA-256 雜湊比對驗證所有必要分片。
  3. 建立先寫入暫存檔、`fsync` 後再原子更名取代的存檔機制,並保留前兩個已驗證版本。
免註冊即時診斷

貼上您的 GPU 日誌,立即排查首發故障

送出前會在瀏覽器本機自動遮罩 IP、金鑰與私有路徑,精準鎖定根因。

上傳前請先檢視 雲端資料處理說明與完全本機離線選項。

training_logs.txt
手邊沒有日誌?點此載入範例:

大型日誌檔會在您的瀏覽器本機端先濃縮擷取,執行診斷時僅送出關鍵證據片段。

每日 3 次免費雲端診斷額度

常見問題

只要檔案大小跟上一次差不多大就可以強制恢復訓練嗎?

不可以。大小相近仍可能發生結尾中央目錄遺失或部分區塊未寫實,必須經格式與雜湊校驗確認。

Spot 執行個體要怎麼避免存檔壞掉?

搭配原子更名存檔與非同步備份保留策略,在回收通知時安全略過未完成的版本。

相關繁體中文 GPU 排錯指南

英文完整知識庫條目:檢視完整英文參考 (English)

免費試用 Denpex 30 天。完全免費。

無需信用卡,無自動續訂。使用團隊已結案的故障日誌親自驗證診斷精準度。

開啟 30 天免費 Team 團隊評估

30 天內每日最多 50 次診斷。驗證企業工作信箱即可啟用試用,重現已解決的歷史故障並將根因證據與團隊確認結論比對。

請使用公司網域信箱,例如 alex@yourcompany.com。

適用資格說明

通過信箱與企業網域驗證即可啟用 30 天 Team 評估(每日最多 50 次診斷)。若網域無法自動驗證,可聯繫 support@denpex.com 人工審核。編輯器擴充套件的本機離線診斷無需帳號。

使用個人信箱(Gmail、Outlook、Yahoo)或個人叢集?建立 $0 免費帳號(不需工作信箱) 以保存 7 天紀錄並啟用 AI 診斷,或傳送叢集故障日誌預約展示。