Skip to content
Storage-Abbrüche / Preemption

Checkpoint-Korruption und Ladefehler (EOFError) Analyse

Selten geht ein Dateisystem spontan kaputt: Meist wurde der Schreibvorgang mitten im Save durch Spot-Entzug, `SIGKILL` oder NFS/Lustre-Timeout abgeschnitten.

Typische Log-Signatur

EOFError: Ran out of input / RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directory

Ursache und Abgrenzung zu Folgesymptomen

Wird direkt in den Zielordner geschrieben statt atomar über ein temporäres Verzeichnis umzubenennen, bleiben unvollständige Archive zurück. Allein eine erwartete Dateigröße beweist keine Datenintegrität.

Diagnose-Befehle vor einem Neustart ausführen

dmesg -T | grep -i -E "lustre|nfs|ext4|nvme|i/o error|quota"
python3 -c "import zipfile; print(zipfile.ZipFile('model_shard_12.pt').testzip())"
ls -la --time-style=full-iso checkpoints/step_8000/

Sichere Triage und Behebung

  1. Zeitstempel der beschädigten Shards gegen Storage-Fehler in `dmesg` und Preemption-Events abgleichen.
  2. Mit `zipfile.testzip()`, Safetensors-Headerprüfung oder SHA-256 alle Shards vor dem Resume testen.
  3. Schreibvorgänge künftig auf temp-Pfad + `fsync` + atomares Rename umstellen.
Live-Diagnose ohne Login

Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen

Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.

Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.

training_logs.txt
Kein eigenes Log zur Hand? Beispiel auswählen:

Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.

3 kostenlose Cloud-Diagnosen pro Tag

Häufige Fragen

Kann ein Shard mit plausibler Dateigröße trotzdem defekt sein?

Ja. Nur Header-, Zip-Struktur- und Checksummenprüfungen verifizieren die Lesbarkeit; Dateigröße allein reicht nie.

Wie schützt man lange Läufe auf Spot-Instanzen?

Durch atomares Umbenennen erst nach vollständigem Write und Aufbewahrung des vorletzten validierten Checkpoints.

Weitere deutsche GPU-Fehler-Leitfäden

Vollständiger englischer Facheintrag:Englische Referenz öffnen

Denpex 30 Tage testen. KOSTENLOS.

Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.

Kostenlose 30-tägige Team-Testphase starten

Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.

Verwenden Sie Ihre Firmen-E-Mail, zum Beispiel alex@ihrunternehmen.de.

Wer ist berechtigt?

Unternehmensdomains aktivieren nach E-Mail- und Domainprüfung automatisch die 30-tägige Team-Testphase (bis zu 50 Diagnosen täglich). Falls die automatische Prüfung fehlschlägt, hilft support@denpex.com. Lokale Diagnosen in der IDE-Erweiterung benötigen kein Konto.

Nutzen Sie eine private Adresse (Gmail, Outlook, GMX) oder ein Einzel-Cluster? Kostenloses $0-Konto erstellen (ohne Firmen-E-Mail), um 7 Tage Verlauf zu speichern, oder senden Sie ein Cluster-Crash-Log für eine Live-Analyse.