Skip to content
ストレージ・プリエンプション中断

チェックポイント破損・読み込み失敗 (EOFError) 診断

一見ランダムなファイル破損に見えても、多くは保存途中の Spot 回収、`SIGKILL`、または Lustre/NFS タイムアウトによる不完全書き込みが原因です。

代表的なログシグネチャ

EOFError: Ran out of input / RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directory

根本原因と二次症状の見分け方

チェックポイント書き込みはアトミックでない実装だと、ノード停止時に一部シャードだけ中途半端な ZIP/Safetensors 状態で残ります。なおファイルサイズが 0 でないだけでは健全性の証明にはなりません。

再起動・再試行前に収集すべき証拠コマンド

dmesg -T | grep -i -E "lustre|nfs|ext4|nvme|i/o error|quota"
python3 -c "import zipfile; print(zipfile.ZipFile('model_shard_12.pt').testzip())"
ls -la --time-style=full-iso checkpoints/step_8000/

安全な切り分けと復旧ステップ

  1. 書き込み終了時刻と `dmesg` のファイルシステム/Lustre エラー、オーケストレータのプリエンプションログを照合します。
  2. `zipfile.testzip()` や Safetensors ヘッダー検査・ハッシュ照合で整合性を検証します。
  3. テンポラリファイル作成後にリネームするアトミック保存と `fsync` へ切り替えます。
登録不要のライブ診断

お手元のログで最初の故障原因を無料チェック

生ログを貼り付けると、ブラウザ内で機密値を自動マスクして起点ノードや二次エラーを切り分けます。

アップロード前に クラウドでのデータ取り扱いと完全ローカル実行の選択肢 をご確認ください。

training_logs.txt
手元にログがない場合はサンプルでお試しください:

ログファイルを選択してください。大きなファイルはブラウザ内で整形され、抽出された証跡のみが診断に送信されます。

1日3回まで無料のクラウド診断

よくある質問

ファイルサイズが他ノードとほぼ同じならそのまま学習再開できますか?

いいえ。ファイルサイズの一致だけでは末尾欠損やヘッダー不整合を否定できないため、ZIP 検査やチェックサム検証を行ってください。

Spot インスタンス回収時の破損を防ぐには?

非同期チェックポイントと終了通知シグナル時の安全退避、アトミックリネームを組み合わせてください。

関連する日本語 GPU 障害ガイド

英語版の完全データベース詳細:English Technical Reference を開く

Denpex を 30 日間お試し。 無料。

クレジットカード不要。自動課金なし。すでに原因をご存じのインシデントで Denpex の精度を検証できます。

30日間の無料 Team 評価を開始

30日間、1日最大50件まで診断可能。法人メールアドレスを認証して利用を開始し、解決済みインシデントを再実行して根拠と次アクションをチームの確定原因と比較できます。

会社のメールアドレスをご入力ください (例: taro@yourcompany.co.jp)。

対象条件について

法人ドメインのメールアドレスで認証が完了すると、30日間の Team 評価版 (1日最大50件診断) が有効化されます。自動判定できないドメインは support@denpex.com で手動確認いたします。エディタ拡張機能でのローカル診断はアカウント不要です。

個人メール (Gmail・Outlook 等) や個人環境をお使いですか? $0 無料アカウントを作成 (個人メール可) すると 7 日間の履歴保存や AI フォールバックが使えます。また、障害ログを送って個別ウォークスルーを依頼することも可能です。