Diagnóstico de Timeout Watchdog NCCL y nodo origen
El rango que imprime el timeout de NCCL casi siempre es un participante sano que esperó sin respuesta a otro compañero que cayó minutos antes.
Firma característica del error
[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 msCausa raíz frente a síntomas secundarios
Un CUDA OOM, un OOM-killer del host (SIGKILL), un Xid 79 o un DataLoader detenido bloquea la barrera `ALLREDUCE` hasta disparar el watchdog.
Comandos de evidencia antes de reiniciar
export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"Pasos seguros de diagnóstico y solución
- Alinear por hora UTC los logs de todos los nodos para localizar la primera excepción, SIGKILL o Xid del kernel.
- Revisar el número mínimo de `WorkNCCL(SeqNum=...)` para ubicar la operación colectiva exacta.
- Separar caídas de enlace físico (`ibv_poll_cq error 12`) de cuellos de datos o memoria.
Analiza gratis tu log de GPU para detectar el fallo inicial
Los valores sensibles se enmascaran en tu navegador antes del envío.
Revisa antes de subir: gestión de datos en la nube y opción 100 % local.
Los archivos grandes se condensan en tu navegador. Solo la evidencia seleccionada se envía al diagnosticar.
Preguntas frecuentes
¿Basta con subir el tiempo límite de NCCL?
No. Subir el watchdog solo retrasa la detección del cuelgue; usa `TORCH_NCCL_DUMP_ON_TIMEOUT=1` para hallar el rango bloqueado.
¿El timeout en Rank 0 significa que falló el Rank 0?
Rara vez: suele ser el coordinador esperando indefinidamente a otro nodo silencioso.
Otros fallos frecuentes en español
Prueba Denpex por 30 días. GRATIS.
Sin tarjeta de crédito. Sin suscripción automática. Comprueba si Denpex ayuda con un incidente que ya conoces.
Inicia tu evaluación Team gratuita de 30 días
Hasta 50 diagnósticos diarios durante 30 días. Verifica tu correo laboral para activar una evaluación empresarial elegible, reproduce un incidente resuelto y compara la evidencia con la causa confirmada por tu equipo.