Skip to content
Interruption stockage / Préemption

Checkpoint corrompu ou tronqué (EOFError / Zip)

Ces erreurs proviennent rarement d'un disque spontanément défaillant, mais d'une écriture interrompue par préemption spot, `SIGKILL` ou timeout stockage.

Signature typique dans les logs

EOFError: Ran out of input / RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directory

Mécanisme réel et distinction des cascades

Écrire sans étape temporaire suivie d'un renommage atomique laisse des fichiers tronqués. Attention : une taille de fichier normale ne garantit pas l'intégrité du checkpoint.

Commandes de collecte avant redémarrage

dmesg -T | grep -i -E "lustre|nfs|ext4|nvme|i/o error|quota"
python3 -c "import zipfile; print(zipfile.ZipFile('model_shard_12.pt').testzip())"
ls -la --time-style=full-iso checkpoints/step_8000/

Procédure de triage sécurisée

  1. Recouper l'heure de création des shards avec les erreurs I/O dans `dmesg` et les événements de préemption.
  2. Valider l'archive avec `zipfile.testzip()`, les en-têtes Safetensors ou une empreinte SHA-256 avant reprise.
  3. Écrire dans un dossier temporaire puis effectuer `fsync` et renommage atomique.
Diagnostic en direct sans inscription

Tester gratuitement votre log GPU pour trouver le premier événement

Les adresses IP, clés et chemins privés sont masqués localement dans votre navigateur.

Consultez avant envoi : traitement cloud et exécution 100 % locale hors ligne.

training_logs.txt
Pas de log sous la main ? Choisissez un exemple :

Les fichiers volumineux sont condensés dans votre navigateur. Seules les preuves sélectionnées sont transmises au diagnostic.

3 diagnostics cloud gratuits par jour

Questions fréquentes

Un fichier de même taille que le précédent peut-il être quand même corrompu ?

Oui : la taille seule ne garantit ni un index Zip final valide ni l'absence de blocs non écrits.

Comment sécuriser les sauvegardes sur instances spot ?

En combinant écriture temporaire + renommage atomique et conservation du précédent checkpoint validé.

Autres fiches GPU en français

Fiche technique complète en anglais:Consulter la référence anglaise

Essayez Denpex pendant 30 jours. GRATUIT.

Sans carte bancaire. Sans abonnement automatique. Vérifiez l'utilité de Denpex sur un incident que vous connaissez déjà.

Démarrer votre évaluation Team gratuite de 30 jours

Jusqu'à 50 diagnostics par jour pendant 30 jours. Vérifiez votre e-mail professionnel pour activer votre essai d'entreprise, rejouez un incident déjà résolu et comparez les preuves avec la cause confirmée par votre équipe.

Utilisez votre adresse d'entreprise, par exemple alex@votreentreprise.fr.

Qui est éligible ?

Tout domaine d'entreprise vérifié active l'évaluation Team gratuite de 30 jours (jusqu'à 50 diagnostics/jour), quel que soit votre hébergeur mail. En cas d'échec de vérification automatique, contactez support@denpex.com. Le diagnostic local dans l'extension éditeur ne nécessite aucun compte.

Vous utilisez une adresse personnelle (Gmail, Outlook, Orange) ou un cluster solo ? Créer un compte gratuit à 0 $ (sans e-mail pro) pour conserver 7 jours d'historique, ou envoyez un journal d'erreur pour une démonstration.