Skip to content
Comunicación distribuida / Síntoma secundario

Diagnóstico de Timeout Watchdog NCCL y nodo origen

El rango que imprime el timeout de NCCL casi siempre es un participante sano que esperó sin respuesta a otro compañero que cayó minutos antes.

Firma característica del error

[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 ms

Causa raíz frente a síntomas secundarios

Un CUDA OOM, un OOM-killer del host (SIGKILL), un Xid 79 o un DataLoader detenido bloquea la barrera `ALLREDUCE` hasta disparar el watchdog.

Comandos de evidencia antes de reiniciar

export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"

Pasos seguros de diagnóstico y solución

  1. Alinear por hora UTC los logs de todos los nodos para localizar la primera excepción, SIGKILL o Xid del kernel.
  2. Revisar el número mínimo de `WorkNCCL(SeqNum=...)` para ubicar la operación colectiva exacta.
  3. Separar caídas de enlace físico (`ibv_poll_cq error 12`) de cuellos de datos o memoria.
Diagnóstico en vivo sin registro

Analiza gratis tu log de GPU para detectar el fallo inicial

Los valores sensibles se enmascaran en tu navegador antes del envío.

Revisa antes de subir: gestión de datos en la nube y opción 100 % local.

training_logs.txt
¿No tienes un log a mano? Carga un ejemplo:

Los archivos grandes se condensan en tu navegador. Solo la evidencia seleccionada se envía al diagnosticar.

3 diagnósticos cloud gratuitos al día

Preguntas frecuentes

¿Basta con subir el tiempo límite de NCCL?

No. Subir el watchdog solo retrasa la detección del cuelgue; usa `TORCH_NCCL_DUMP_ON_TIMEOUT=1` para hallar el rango bloqueado.

¿El timeout en Rank 0 significa que falló el Rank 0?

Rara vez: suele ser el coordinador esperando indefinidamente a otro nodo silencioso.

Otros fallos frecuentes en español

Referencia técnica completa en inglés:Ver ficha completa en inglés

Prueba Denpex por 30 días. GRATIS.

Sin tarjeta de crédito. Sin suscripción automática. Comprueba si Denpex ayuda con un incidente que ya conoces.

Inicia tu evaluación Team gratuita de 30 días

Hasta 50 diagnósticos diarios durante 30 días. Verifica tu correo laboral para activar una evaluación empresarial elegible, reproduce un incidente resuelto y compara la evidencia con la causa confirmada por tu equipo.

Usa el correo de tu empresa, por ejemplo alex@tuempresa.com.

¿Quién califica?

Los dominios corporativos activan la evaluación gratuita de 30 días tras validar el correo y dominio. Si no podemos verificarlo automáticamente, escribe a support@denpex.com. El diagnóstico local en el editor no requiere cuenta.

¿Usas correo personal (Gmail, Outlook) o un clúster individual? Crea una cuenta gratuita de $0 (sin correo de trabajo) para guardar 7 días de historial, o envía un log de error para una revisión en vivo.