Skip to content
Queda de escrita / Preempção

Checkpoint corrompido ou truncado (EOFError)

Na maioria dos casos o disco não falhou aleatoriamente: a gravação foi cortada no meio por preempção spot, `SIGKILL` ou timeout de rede no storage.

Assinatura típica no log

EOFError: Ran out of input / RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directory

Causa raiz e diferenciação de cascatas

Escrever direto no caminho definitivo sem pasta temporária mais rename atômico deixa shards quebrados. O tamanho aparente do arquivo sozinho nunca prova integridade.

Comandos de evidência antes de reiniciar

dmesg -T | grep -i -E "lustre|nfs|ext4|nvme|i/o error|quota"
python3 -c "import zipfile; print(zipfile.ZipFile('model_shard_12.pt').testzip())"
ls -la --time-style=full-iso checkpoints/step_8000/

Passos seguros de triagem e correção

  1. Conferir o horário dos arquivos com erros de I/O no `dmesg` e notificações de retomada spot.
  2. Testar todos os shards com `zipfile.testzip()`, cabeçalho Safetensors ou hash SHA-256.
  3. Implementar escrita temporária com `fsync` seguida de rename atômico preservando o passo anterior válido.
Diagnóstico ao vivo sem cadastro

Analise seu log de GPU grátis para achar o primeiro erro

Endereços IP, chaves e caminhos locais são mascarados no seu navegador.

Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.

training_logs.txt
Não tem um log à mão? Escolha um exemplo:

Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.

3 diagnósticos em nuvem grátis por dia

Perguntas frequentes

Se o tamanho em disco parece igual ao normal, posso carregar mesmo assim?

Não. O tamanho sozinho não detecta índice Zip ausente nem blocos zerados no final; valide sempre a leitura e o hash.

Como evitar perda em instâncias spot?

Combine gravação temporária com rename atômico e mantenha sempre o penúltimo checkpoint íntegro.

Outros guias de falhas GPU em português

Documentação técnica completa em inglês:Abrir referência completa em inglês

Experimente o Denpex por 30 dias. GRÁTIS.

Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.

Inicie sua avaliação Team gratuita de 30 dias

Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.

Use seu e-mail da empresa, por exemplo alex@suaempresa.com.

Quem é elegível?

Domínios corporativos ativam a avaliação gratuita de 30 dias após a verificação do e-mail e domínio. Se a validação automática falhar, fale com support@denpex.com. O diagnóstico local na extensão do editor dispensa conta.

Usando e-mail pessoal (Gmail, Outlook) ou cluster solo? Criar conta gratuita de $0 (não exige e-mail corporativo) para salvar histórico de 7 dias, ou envie um log de falha para demonstração ao vivo.