Skip to content
Mémoire GPU / Fragmentation

CUDA out of memory : Saturation GPU ou fragmentation

Une erreur CUDA out of memory vient soit d'un réel dépassement de capacité HBM, soit d'une fragmentation empêchant PyTorch d'allouer un bloc contigu.

Signature typique dans les logs

torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 79.15 GiB total capacity; 75.80 GiB already allocated; 1.12 GiB free)

Mécanisme réel et distinction des cascades

Si `allocated` est nettement inférieur à la VRAM totale alors que `reserved` approche le plafond, l'allocateur est fragmenté. Sinon, poids, activations ou cache KV excèdent la carte.

Commandes de collecte avant redémarrage

nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
export PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True,max_split_size_mb:128"
python3 -c "import torch; print(torch.cuda.memory_summary())"

Procédure de triage sécurisée

  1. Comparer `already allocated` et `reserved in total by PyTorch` directement dans la trace.
  2. En cas d'écart important, activer `PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True`.
  3. Sinon activer activation checkpointing, réduire le micro-lot ou augmenter TP/FSDP.
Diagnostic en direct sans inscription

Tester gratuitement votre log GPU pour trouver le premier événement

Les adresses IP, clés et chemins privés sont masqués localement dans votre navigateur.

Consultez avant envoi : traitement cloud et exécution 100 % locale hors ligne.

training_logs.txt
Pas de log sous la main ? Choisissez un exemple :

Les fichiers volumineux sont condensés dans votre navigateur. Seules les preuves sélectionnées sont transmises au diagnostic.

3 diagnostics cloud gratuits par jour

Questions fréquentes

Pourquoi obtenir OOM alors que nvidia-smi montre de la VRAM libre ?

La VRAM réservée peut être morcelée sans bloc contigu suffisant, ou un autre processus partage le même GPU.

Comment estimer la VRAM requise avant de lancer ?

Utilisez le calculateur gratuit sous /fr/vram-calculator pour chiffrer poids et cache KV selon le contexte.

Autres fiches GPU en français

Fiche technique complète en anglais:Consulter la référence anglaise

Essayez Denpex pendant 30 jours. GRATUIT.

Sans carte bancaire. Sans abonnement automatique. Vérifiez l'utilité de Denpex sur un incident que vous connaissez déjà.

Démarrer votre évaluation Team gratuite de 30 jours

Jusqu'à 50 diagnostics par jour pendant 30 jours. Vérifiez votre e-mail professionnel pour activer votre essai d'entreprise, rejouez un incident déjà résolu et comparez les preuves avec la cause confirmée par votre équipe.

Utilisez votre adresse d'entreprise, par exemple alex@votreentreprise.fr.

Qui est éligible ?

Tout domaine d'entreprise vérifié active l'évaluation Team gratuite de 30 jours (jusqu'à 50 diagnostics/jour), quel que soit votre hébergeur mail. En cas d'échec de vérification automatique, contactez support@denpex.com. Le diagnostic local dans l'extension éditeur ne nécessite aucun compte.

Vous utilisez une adresse personnelle (Gmail, Outlook, Orange) ou un cluster solo ? Créer un compte gratuit à 0 $ (sans e-mail pro) pour conserver 7 jours d'historique, ou envoyez un journal d'erreur pour une démonstration.