OOM-killer en RAM de servidor (SIGKILL / exit 137)
No se agotó la GPU, sino la memoria RAM física del host o el límite cgroup del trabajo, provocando un `SIGKILL` directo del kernel Linux.
Firma característica del error
torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kBCausa raíz frente a síntomas secundarios
Múltiples workers de `DataLoader` inflando la RAM CPU, carga completa de checkpoints en cada rango o abuso de `pin_memory`.
Comandos de evidencia antes de reiniciar
dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMemPasos seguros de diagnóstico y solución
- Confirmar mediante `dmesg -T | grep -i oom-kill` y `sacct` MaxRSS el exceso de memoria de servidor.
- Cargar pesos solo en Rank 0 y difundir o leer directamente por fragmentos sin duplicar en CPU.
- Reducir `num_workers`, `prefetch_factor` o elevar la cuota RAM del trabajo.
Analiza gratis tu log de GPU para detectar el fallo inicial
Los valores sensibles se enmascaran en tu navegador antes del envío.
Revisa antes de subir: gestión de datos en la nube y opción 100 % local.
Los archivos grandes se condensan en tu navegador. Solo la evidencia seleccionada se envía al diagnosticar.
Preguntas frecuentes
¿Por qué sale código 137 con VRAM libre en la GPU?
El código 137 (128+9) indica `SIGKILL` enviado por el kernel al agotarse la RAM CPU o cgroup.
¿Puede esto desencadenar timeouts NCCL en otros nodos?
Sí. Al morir un nodo de golpe, el resto queda bloqueado en AllReduce hasta que salta el watchdog.
Otros fallos frecuentes en español
Prueba Denpex por 30 días. GRATIS.
Sin tarjeta de crédito. Sin suscripción automática. Comprueba si Denpex ayuda con un incidente que ya conoces.
Inicia tu evaluación Team gratuita de 30 días
Hasta 50 diagnósticos diarios durante 30 días. Verifica tu correo laboral para activar una evaluación empresarial elegible, reproduce un incidente resuelto y compara la evidencia con la causa confirmada por tu equipo.