Checkpoint-Korruption und Ladefehler (EOFError) Analyse
Selten geht ein Dateisystem spontan kaputt: Meist wurde der Schreibvorgang mitten im Save durch Spot-Entzug, `SIGKILL` oder NFS/Lustre-Timeout abgeschnitten.
Typische Log-Signatur
EOFError: Ran out of input / RuntimeError: PytorchStreamReader failed reading zip archive: failed finding central directoryUrsache und Abgrenzung zu Folgesymptomen
Wird direkt in den Zielordner geschrieben statt atomar über ein temporäres Verzeichnis umzubenennen, bleiben unvollständige Archive zurück. Allein eine erwartete Dateigröße beweist keine Datenintegrität.
Diagnose-Befehle vor einem Neustart ausführen
dmesg -T | grep -i -E "lustre|nfs|ext4|nvme|i/o error|quota"
python3 -c "import zipfile; print(zipfile.ZipFile('model_shard_12.pt').testzip())"
ls -la --time-style=full-iso checkpoints/step_8000/Sichere Triage und Behebung
- Zeitstempel der beschädigten Shards gegen Storage-Fehler in `dmesg` und Preemption-Events abgleichen.
- Mit `zipfile.testzip()`, Safetensors-Headerprüfung oder SHA-256 alle Shards vor dem Resume testen.
- Schreibvorgänge künftig auf temp-Pfad + `fsync` + atomares Rename umstellen.
Eigenes GPU-Log kostenlos auf den ersten Fehler prüfen
Sensible Pfade, IPs und Token werden vorab in Ihrem Browser maskiert.
Vor dem Upload lesen: Cloud-Datenverarbeitung & lokale Offline-Optionen.
Große Logdateien werden direkt in Ihrem Browser vorgefiltert. Nur ausgewählte Belege werden bei der Diagnose übermittelt.
Häufige Fragen
Kann ein Shard mit plausibler Dateigröße trotzdem defekt sein?
Ja. Nur Header-, Zip-Struktur- und Checksummenprüfungen verifizieren die Lesbarkeit; Dateigröße allein reicht nie.
Wie schützt man lange Läufe auf Spot-Instanzen?
Durch atomares Umbenennen erst nach vollständigem Write und Aufbewahrung des vorletzten validierten Checkpoints.
Weitere deutsche GPU-Fehler-Leitfäden
Denpex 30 Tage testen. KOSTENLOS.
Keine Kreditkarte. Kein automatisches Abo. Prüfen Sie an einem bereits bekannten Vorfall, ob Denpex Ihrem Team hilft.
Kostenlose 30-tägige Team-Testphase starten
Bis zu 50 Diagnosen pro Tag für 30 Tage. Bestätigen Sie Ihre geschäftliche E-Mail-Adresse, spielen Sie einen gelösten Vorfall nach und vergleichen Sie Evidenz sowie nächste Schritte mit Ihrer bestätigten Ursache.