存储中断 / 节点抢占
检查点损坏与读取失败 (EOFError / Zip 错误) 排查
检查点读取失败通常不是磁盘无故坏掉,而是写出中途遭遇 Spot 抢占、进程 `SIGKILL` 或分布式存储超时的截断产物。
典型日志特征
EOFError: Ran out of input / RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directory根本原因与次生级联症状辨析
直接向最终目标路径覆盖写文件且缺少先写临时目录再原子改名,会导致中断瞬间留下受损分片。注意:仅凭文件大小与上次相近并不能证明权重文件完好无损。
重启节点前先收集的取证命令
dmesg -T | grep -i -E "lustre|nfs|ext4|nvme|i/o error|quota"
python3 -c "import zipfile; print(zipfile.ZipFile('model_shard_12.pt').testzip())"
ls -la --time-style=full-iso checkpoints/step_8000/安全排查与恢复步骤
- 对比分片时间戳与 `dmesg` 中 Lustre/NFS/NVMe I/O 报错及云平台回收通知。
- 用 `zipfile.testzip()`、Safetensors 头部检查或 SHA-256 校验验证全部必要分片完整性。
- 在保存流程中启用临时路径落盘 + `fsync` 校验 + 原子重命名机制,保留至少前两个已验证版本。
Live diagnosis, no signup
粘贴你的 GPU 日志,立即排查首发故障
提交前会在当前浏览器本地自动遮罩 IP、密钥和私有路径,安全分离根因。
Before uploading, review cloud data handling and local options.
training_logs.txt
No log to hand? Try one:
Upload your log file. Large files are processed in your browser. Only selected evidence is submitted when you run diagnosis.
3 free cloud diagnoses per day
常见问题
损坏分片的文件大小看上去和其他卡一样,能强制加载继续训吗?
不能。文件大小正常不能说明文件末尾 Zip 目录或中间张量块没有截断或全零,必须通过校验检查。
如何彻底杜绝抢占训练时的检查点破损?
采用先写临时目录再原子替换,并对每次落盘自动做可读性与哈希核对。
相关简体中文 GPU 排障条目
宿主机内存 OOM-killer (SIGKILL / exit 137) 诊断NCCL Watchdog 超时排查与源头节点定位训练 Loss 出现 NaN / 梯度 Inf 排查指南打开免费 LLM 显存计算器
英文完整百科档案:查看完整英文参考 (English)
免费试用 Denpex 30 天。完全免费。
无需信用卡,无自动续费。使用团队已复盘的故障日志亲自验证诊断效果。
开启 30 天免费 Team 团队评估
30 天内每日最多 50 次诊断。验证企业工作邮箱即可激活试用,回放已解决的历史故障并将根因证据与团队确认结论对比。