InfiniBand / RoCEv2 / PyTorch DDP y FSDP
Timeout Watchdog NCCL, error 12 ibv_poll_cq y nodo de origen
Filtra las cascadas de WorkNCCL AllReduce para hallar el primer rango bloqueado, enlaces RDMA caídos, OOM de host o checkpoints truncados.
Firmas frecuentes y primeros pasos de diagnóstico
| Firma de log | Clase de fallo | Significado | Primera comprobación | Ver más |
|---|---|---|---|---|
| Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE) | Síntoma secundario | Los ranks sanos esperan a otro rank que se detuvo o retrasó previamente. | Comparar el primer traceback y WorkNCCL SeqNum en todos los nodos. | Ver detalle |
| SIGKILL (exit 137) / Out of memory: Killed process (DataLoader) | OOM en RAM host | El OOM-killer de Linux mató el proceso por falta de RAM del servidor, no de VRAM. | Inspeccionar dmesg oom-kill, límites cgroup y workers de DataLoader. | Ver detalle |
| EOFError / RuntimeError: unexpected EOF in checkpoint shard | Guardado interrumpido | El fragmento de checkpoint quedó truncado por expulsión spot o fallo de almacenamiento. | Cruzar errores de disco con el paso guardado y no reanudar sobre shards rotos. | Ver detalle |
| loss=nan / grad_norm=inf during mixed-precision step | Divergencia numérica | Desbordamiento de gradientes o lote corrupto en un rank replicado por AllReduce. | Auditar el primer paso con NaN, el escalado AMP/BF16 y los datos de entrada. | Ver detalle |
| Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded) | RDMA / InfiniBand | Degradación física en puerto mlx5 o congestión RoCE entre nodos multi-GPU. | Anotar hostname y puerto mlx5 según la guía regional España y LATAM. | Guía Cloud ES |
Evidencia local que debes guardar antes de reiniciar
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1Diagnóstico por proveedor GPU en España, Europa y LATAM
España y LATAM H100 (NCCL / vLLM)
Timeouts NCCL, /dev/shm, Xid 79 y caché KV en producción
RunPod Multi-Nodo Watchdog
Aislar sockets bloqueados y rangos caídos en DDP/FSDP
Lambda Labs H100 InfiniBand
Errores mlx5 y caídas intermitentes de enlace IB
Todas las nubes GPU
Guías por proveedor en España, Europa, LATAM y EE. UU.
Herramientas GPU gratuitas sin salir del navegador
Preguntas frecuentes
¿El rango que muestra primero el timeout de NCCL es el culpable?
Casi nunca. Los rangos sanos esperan hasta agotar el temporizador; compara SeqNum y errores previos de todos los nodos.
¿Cómo distinguir un enlace físico caído de un error de red?
Transport retry counter exceeded apunta al puerto mlx5 o transceptor; errores de socket indican NCCL_SOCKET_IFNAME o firewall.
Plan gratuito de $0 y evaluación Team de 30 días (sin tarjeta · factura e IVA/NIF)
Abre tu cuenta gratuita de $0 con cualquier correo personal o corporativo. En planes de equipo, Stripe admite tarjetas empresariales, NIF/IVA y emisión de factura anual por transferencia.