Skip to content
RAM système / limite cgroup

OOM-killer RAM hôte (SIGKILL / code 137) : Diagnostic

Ce n'est pas la VRAM GPU qui sature mais la RAM du serveur ou le quota cgroup ; le noyau Linux envoie un `SIGKILL` immédiat.

Signature typique dans les logs

torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kB

Mécanisme réel et distinction des cascades

Trop de workers `DataLoader` dupliquant des tables mémoire, chargement complet des checkpoints sur chaque rank CPU ou excès de `pin_memory`.

Commandes de collecte avant redémarrage

dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMem

Procédure de triage sécurisée

  1. Confirmer via `dmesg -T | grep -i oom-kill` et Slurm `sacct` MaxRSS que le plafond RAM hôte a été atteint.
  2. Charger le modèle sur rank 0 uniquement puis diffuser vers les autres ranks ou utiliser des shards directs.
  3. Réajuster `num_workers`, `prefetch_factor` et le quota mémoire du conteneur.
Diagnostic en direct sans inscription

Tester gratuitement votre log GPU pour trouver le premier événement

Les adresses IP, clés et chemins privés sont masqués localement dans votre navigateur.

Consultez avant envoi : traitement cloud et exécution 100 % locale hors ligne.

training_logs.txt
Pas de log sous la main ? Choisissez un exemple :

Les fichiers volumineux sont condensés dans votre navigateur. Seules les preuves sélectionnées sont transmises au diagnostic.

3 diagnostics cloud gratuits par jour

Questions fréquentes

Pourquoi le job sort-il en 137 avec 50 % de VRAM libre ?

Le code 137 (128+9) correspond à un `SIGKILL` du noyau pour épuisement de RAM hôte ou cgroup.

Cela provoque-t-il ensuite des timeouts NCCL ailleurs ?

Oui : dès qu'un noeud disparaît ainsi, les autres restent figés sur la barrière collective jusqu'au Watchdog.

Autres fiches GPU en français

Fiche technique complète en anglais:Consulter la référence anglaise

Essayez Denpex pendant 30 jours. GRATUIT.

Sans carte bancaire. Sans abonnement automatique. Vérifiez l'utilité de Denpex sur un incident que vous connaissez déjà.

Démarrer votre évaluation Team gratuite de 30 jours

Jusqu'à 50 diagnostics par jour pendant 30 jours. Vérifiez votre e-mail professionnel pour activer votre essai d'entreprise, rejouez un incident déjà résolu et comparez les preuves avec la cause confirmée par votre équipe.

Utilisez votre adresse d'entreprise, par exemple alex@votreentreprise.fr.

Qui est éligible ?

Tout domaine d'entreprise vérifié active l'évaluation Team gratuite de 30 jours (jusqu'à 50 diagnostics/jour), quel que soit votre hébergeur mail. En cas d'échec de vérification automatique, contactez support@denpex.com. Le diagnostic local dans l'extension éditeur ne nécessite aucun compte.

Vous utilisez une adresse personnelle (Gmail, Outlook, Orange) ou un cluster solo ? Créer un compte gratuit à 0 $ (sans e-mail pro) pour conserver 7 jours d'historique, ou envoyez un journal d'erreur pour une démonstration.