Skip to content

InfiniBand / RoCEv2 / PyTorch DDP y FSDP

Timeout Watchdog NCCL, error 12 ibv_poll_cq y nodo de origen

Filtra las cascadas de WorkNCCL AllReduce para hallar el primer rango bloqueado, enlaces RDMA caídos, OOM de host o checkpoints truncados.

Firmas frecuentes y primeros pasos de diagnóstico

Firma de logClase de falloSignificadoPrimera comprobaciónVer más
Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE)Síntoma secundarioLos ranks sanos esperan a otro rank que se detuvo o retrasó previamente.Comparar el primer traceback y WorkNCCL SeqNum en todos los nodos.Ver detalle
SIGKILL (exit 137) / Out of memory: Killed process (DataLoader)OOM en RAM hostEl OOM-killer de Linux mató el proceso por falta de RAM del servidor, no de VRAM.Inspeccionar dmesg oom-kill, límites cgroup y workers de DataLoader.Ver detalle
EOFError / RuntimeError: unexpected EOF in checkpoint shardGuardado interrumpidoEl fragmento de checkpoint quedó truncado por expulsión spot o fallo de almacenamiento.Cruzar errores de disco con el paso guardado y no reanudar sobre shards rotos.Ver detalle
loss=nan / grad_norm=inf during mixed-precision stepDivergencia numéricaDesbordamiento de gradientes o lote corrupto en un rank replicado por AllReduce.Auditar el primer paso con NaN, el escalado AMP/BF16 y los datos de entrada.Ver detalle
Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded)RDMA / InfiniBandDegradación física en puerto mlx5 o congestión RoCE entre nodos multi-GPU.Anotar hostname y puerto mlx5 según la guía regional España y LATAM.Guía Cloud ES

Evidencia local que debes guardar antes de reiniciar

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

Diagnóstico por proveedor GPU en España, Europa y LATAM

Herramientas GPU gratuitas sin salir del navegador

Preguntas frecuentes

¿El rango que muestra primero el timeout de NCCL es el culpable?

Casi nunca. Los rangos sanos esperan hasta agotar el temporizador; compara SeqNum y errores previos de todos los nodos.

¿Cómo distinguir un enlace físico caído de un error de red?

Transport retry counter exceeded apunta al puerto mlx5 o transceptor; errores de socket indican NCCL_SOCKET_IFNAME o firewall.

Plan gratuito de $0 y evaluación Team de 30 días (sin tarjeta · factura e IVA/NIF)

Abre tu cuenta gratuita de $0 con cualquier correo personal o corporativo. En planes de equipo, Stripe admite tarjetas empresariales, NIF/IVA y emisión de factura anual por transferencia.