Skip to content
存储中断 / 节点抢占

检查点损坏与读取失败 (EOFError / Zip 错误) 排查

检查点读取失败通常不是磁盘无故坏掉,而是写出中途遭遇 Spot 抢占、进程 `SIGKILL` 或分布式存储超时的截断产物。

典型日志特征

EOFError: Ran out of input / RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directory

根本原因与次生级联症状辨析

直接向最终目标路径覆盖写文件且缺少先写临时目录再原子改名,会导致中断瞬间留下受损分片。注意:仅凭文件大小与上次相近并不能证明权重文件完好无损。

重启节点前先收集的取证命令

dmesg -T | grep -i -E "lustre|nfs|ext4|nvme|i/o error|quota"
python3 -c "import zipfile; print(zipfile.ZipFile('model_shard_12.pt').testzip())"
ls -la --time-style=full-iso checkpoints/step_8000/

安全排查与恢复步骤

  1. 对比分片时间戳与 `dmesg` 中 Lustre/NFS/NVMe I/O 报错及云平台回收通知。
  2. 用 `zipfile.testzip()`、Safetensors 头部检查或 SHA-256 校验验证全部必要分片完整性。
  3. 在保存流程中启用临时路径落盘 + `fsync` 校验 + 原子重命名机制,保留至少前两个已验证版本。
Live diagnosis, no signup

粘贴你的 GPU 日志,立即排查首发故障

提交前会在当前浏览器本地自动遮罩 IP、密钥和私有路径,安全分离根因。

Before uploading, review cloud data handling and local options.

training_logs.txt
No log to hand? Try one:

Upload your log file. Large files are processed in your browser. Only selected evidence is submitted when you run diagnosis.

3 free cloud diagnoses per day

常见问题

损坏分片的文件大小看上去和其他卡一样,能强制加载继续训吗?

不能。文件大小正常不能说明文件末尾 Zip 目录或中间张量块没有截断或全零,必须通过校验检查。

如何彻底杜绝抢占训练时的检查点破损?

采用先写临时目录再原子替换,并对每次落盘自动做可读性与哈希核对。

相关简体中文 GPU 排障条目

英文完整百科档案:查看完整英文参考 (English)

免费试用 Denpex 30 天。完全免费。

无需信用卡,无自动续费。使用团队已复盘的故障日志亲自验证诊断效果。

开启 30 天免费 Team 团队评估

30 天内每日最多 50 次诊断。验证企业工作邮箱即可激活试用,回放已解决的历史故障并将根因证据与团队确认结论对比。

请使用公司域名邮箱,例如 alex@yourcompany.com。

适用条件说明

通过邮箱与企业域名校验即可激活 30 天 Team 评估(每日最多 50 次诊断)。若域名未能自动通过,可联系 support@denpex.com 人工审核。编辑器扩展的纯本地离线诊断无需任何账号。

正在使用个人邮箱(Gmail、QQ、163、Outlook)或个人主机?创建 $0 免费账号(无需工作邮箱) 以保存 7 天诊断记录并解锁 AI 推理,或发送集群故障日志预约演示。