Checkpoint corrompido ou truncado (EOFError)
Na maioria dos casos o disco não falhou aleatoriamente: a gravação foi cortada no meio por preempção spot, `SIGKILL` ou timeout de rede no storage.
Assinatura típica no log
EOFError: Ran out of input / RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directoryCausa raiz e diferenciação de cascatas
Escrever direto no caminho definitivo sem pasta temporária mais rename atômico deixa shards quebrados. O tamanho aparente do arquivo sozinho nunca prova integridade.
Comandos de evidência antes de reiniciar
dmesg -T | grep -i -E "lustre|nfs|ext4|nvme|i/o error|quota"
python3 -c "import zipfile; print(zipfile.ZipFile('model_shard_12.pt').testzip())"
ls -la --time-style=full-iso checkpoints/step_8000/Passos seguros de triagem e correção
- Conferir o horário dos arquivos com erros de I/O no `dmesg` e notificações de retomada spot.
- Testar todos os shards com `zipfile.testzip()`, cabeçalho Safetensors ou hash SHA-256.
- Implementar escrita temporária com `fsync` seguida de rename atômico preservando o passo anterior válido.
Analise seu log de GPU grátis para achar o primeiro erro
Endereços IP, chaves e caminhos locais são mascarados no seu navegador.
Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.
Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.
Perguntas frequentes
Se o tamanho em disco parece igual ao normal, posso carregar mesmo assim?
Não. O tamanho sozinho não detecta índice Zip ausente nem blocos zerados no final; valide sempre a leitura e o hash.
Como evitar perda em instâncias spot?
Combine gravação temporária com rename atômico e mantenha sempre o penúltimo checkpoint íntegro.
Outros guias de falhas GPU em português
Experimente o Denpex por 30 dias. GRÁTIS.
Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.
Inicie sua avaliação Team gratuita de 30 dias
Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.