CUDA out of memory: Falta de VRAM o fragmentación
Aunque el error menciona falta de memoria GPU, en la práctica distingue si superaste la HBM física o si el asignador de PyTorch quedó fragmentado.
Firma característica del error
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 79.15 GiB total capacity; 75.80 GiB already allocated; 1.12 GiB free)Causa raíz frente a síntomas secundarios
Si `allocated` es mucho menor que la capacidad de la tarjeta mientras `reserved` roza el límite, hay fragmentación. Si ambos tocan techo, pesos, activaciones o caché KV exceden la GPU.
Comandos de evidencia antes de reiniciar
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
export PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True,max_split_size_mb:128"
python3 -c "import torch; print(torch.cuda.memory_summary())"Pasos seguros de diagnóstico y solución
- Comparar `already allocated` frente a `reserved in total by PyTorch` en el propio mensaje de error.
- Si la diferencia reservada es alta, probar `PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True`.
- Si falta capacidad real, activar activation checkpointing, reducir micro-lote o ampliar TP/FSDP.
Analiza gratis tu log de GPU para detectar el fallo inicial
Los valores sensibles se enmascaran en tu navegador antes del envío.
Revisa antes de subir: gestión de datos en la nube y opción 100 % local.
Los archivos grandes se condensan en tu navegador. Solo la evidencia seleccionada se envía al diagnosticar.
Preguntas frecuentes
¿Por qué sale CUDA OOM si nvidia-smi muestra gigas libres?
Puede faltar un bloque contiguo dentro de la memoria ya reservada por PyTorch o existir otro proceso compartiendo la misma GPU.
¿Cómo dimensiono la memoria antes de alquilar un nodo?
En /es/vram-calculator puedes calcular gratis el peso del modelo y su caché KV por contexto.
Otros fallos frecuentes en español
Prueba Denpex por 30 días. GRATIS.
Sin tarjeta de crédito. Sin suscripción automática. Comprueba si Denpex ayuda con un incidente que ya conoces.
Inicia tu evaluación Team gratuita de 30 días
Hasta 50 diagnósticos diarios durante 30 días. Verifica tu correo laboral para activar una evaluación empresarial elegible, reproduce un incidente resuelto y compara la evidencia con la causa confirmada por tu equipo.