스토리지 · 선점 중단
체크포인트 손상 및 로드 실패 (EOFError) 분석
디스크가 갑자기 손상된 것처럼 보여도 대개 Spot 회수, OOM 강제 종료, 또는 Lustre/NFS 타임아웃 도중 저장이 끊기며 발생합니다.
대표 로그 시그니처
EOFError: Ran out of input / RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directory근본 원인과 연쇄 증상 구분
임시 파일 저장 후 원자적 이름 바꾸기(atomic rename) 없이 직접 덮어쓰거나 비동기 저장이 끝나기 전 프로세스가 종료되면 아카이브 중앙 디렉터리와 텐서 데이터가 끊어집니다. 파일 크기만으로는 무결성을 보장할 수 없습니다.
재시작 전 반드시 확보할 진단 명령
dmesg -T | grep -i -E "lustre|nfs|ext4|nvme|i/o error|quota"
python3 -c "import zipfile; print(zipfile.ZipFile('model_shard_12.pt').testzip())"
ls -la --time-style=full-iso checkpoints/step_8000/안전한 점검 및 조치 절차
- 체크포인트 수정 시각과 `dmesg` 스토리지 오류 및 클러스터 선점 로그를 대조합니다.
- `zipfile.testzip()` 또는 Safetensors 헤더 및 체크섬으로 샤드 유효성을 검증합니다.
- 임시 경로 기록 후 검증 및 원자적 rename 저장 패턴을 적용합니다.
가입 없는 실시간 진단
내 GPU 로그에서 최초 원인 바로 확인하기
로그를 붙여넣으면 브라우저에서 민감 정보를 자동 마스킹한 뒤 선행 원인을 추적합니다.
업로드 전 클라우드 데이터 처리 및 로컬 실행 옵션을 확인하세요.
training_logs.txt
테스트할 로그가 없다면 예시를 선택하세요:
대용량 로그 파일은 브라우저에서 먼저 압축 정리되며 진단 실행 시 선별된 증거만 전송됩니다.
하루 3회 무료 클라우드 진단
자주 묻는 질문
파일 크기가 이전 체크포인트와 같으면 정상 아닌가요?
아닙니다. 파일 크기가 같아 보여도 내부 ZIP 헤더나 일부 텐서 블록이 0으로 채워졌거나 미기록 상태일 수 있으므로 해시·아카이브 검사가 필요합니다.
Spot 인스턴스에서 손상을 방지하려면 어떻게 해야 하나요?
원자적 저장 경로와 직전 정상 스텝 백업 보존 정책을 함께 운영하세요.
관련 한국어 장애 트리아지 가이드
호스트 RAM OOM-killer (SIGKILL / exit 137) 트리아지NCCL Watchdog 타임아웃 근본 원인 분리학습 Loss NaN 및 기울기 발산 (grad_norm inf) 가이드무료 LLM VRAM 계산기 열기
영문 전체 데이터베이스 문서:English Full Entry 보기
Denpex 30일 무료 체험. 무료.
카드 등록 없음. 자동 구독 전환 없음. 이미 원인을 파악한 과거 장애로 Denpex의 분석 정확도를 직접 확인하세요.
무료 30일 Team 평가 시작하기
30일 동안 하루 최대 50회 진단을 지원합니다. 회사 이메일을 인증해 기업 평가판을 활성화한 뒤, 기존 인시던트 로그를 재현하여 팀이 확정한 원인과 근거를 비교해 보세요.