InfiniBand / RoCEv2 / PyTorch DDP e FSDP
Timeout Watchdog NCCL, erro 12 ibv_poll_cq e rank inicial
Vá além do timeout em massa do WorkNCCL para isolar o nó de origem, falhas de link RDMA mlx5, OOM na RAM ou checkpoints incompletos.
Assinaturas frequentes e triagem inicial
| Assinatura do log | Classe de falha | Significado | Primeira verificação | Abrir |
|---|---|---|---|---|
| Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE) | Sintoma secundário | Ranks saudáveis aguardam um rank anterior que já travou ou foi encerrado. | Comparar os primeiros tracebacks e WorkNCCL SeqNum entre todos os ranks. | Ver detalhes |
| SIGKILL (exit 137) / Out of memory: Killed process (DataLoader) | OOM na RAM do host | O kernel Linux OOM-killer encerrou o processo por falta de RAM CPU, não VRAM. | Checar dmesg oom-kill, limites cgroup e contagem de workers DataLoader. | Ver detalhes |
| EOFError / RuntimeError: unexpected EOF in checkpoint shard | Checkpoint incompleto | Gravação do shard interrompida por preempção ou falha no sistema de arquivos. | Cruzar logs de I/O com o horário da gravação e evitar retomar shard truncado. | Ver detalhes |
| loss=nan / grad_norm=inf during mixed-precision step | Divergência numérica | Estouro de gradiente em precisão mista ou lote inválido propagado no AllReduce. | Inspecionar o primeiro passo com NaN, escala de perda e lote por rank. | Ver detalhes |
| Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded) | RDMA / InfiniBand | Queda física em porta mlx5 ou congestionamento RoCE em treino distribuído. | Registrar hostname e porta mlx5 conforme o guia regional Brasil / LATAM. | Guia Cloud PT |
Evidências para preservar antes de reiniciar o nó
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1Triagem por nuvem GPU no Brasil, Portugal e LATAM
Brasil e LATAM H100 (NCCL / OOM)
CUDA OOM, NCCL Watchdog, Xid 79 e vLLM em clusters locais
RunPod Multi-Node Watchdog
Separar rank lento de falhas de rede DDP e FSDP
CoreWeave Kubernetes Xid 79
Preservar evidências Xid e NVLink antes do recriar do pod
Todas as nuvens GPU
Fluxos completos para provedores no Brasil e no mundo
Ferramentas GPU gratuitas direto no navegador
Perguntas frequentes
O rank 0 com timeout NCCL é sempre o culpado?
Normalmente não. Ele continuou vivo aguardando um par que travou antes. Compare WorkNCCL SeqNum e erros iniciais.
Como separar defeito físico InfiniBand de configuração?
ibv_poll_cq error 12 recorrente em uma porta mlx5 indica problema de link/transceptor; falha de bootstrap indica rede/interface.
Plano gratuito de $0 e avaliação Team de 30 dias (sem cartão · fatura corporativa)
Qualquer e-mail pessoal ou corporativo pode criar uma conta gratuita de $0. Para times em produção, o checkout Stripe aceita cartões corporativos, registro fiscal (CNPJ/NIF) e fatura anual.