Skip to content

InfiniBand / RoCEv2 / PyTorch DDP e FSDP

Timeout Watchdog NCCL, erro 12 ibv_poll_cq e rank inicial

Vá além do timeout em massa do WorkNCCL para isolar o nó de origem, falhas de link RDMA mlx5, OOM na RAM ou checkpoints incompletos.

Assinaturas frequentes e triagem inicial

Assinatura do logClasse de falhaSignificadoPrimeira verificaçãoAbrir
Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE)Sintoma secundárioRanks saudáveis aguardam um rank anterior que já travou ou foi encerrado.Comparar os primeiros tracebacks e WorkNCCL SeqNum entre todos os ranks.Ver detalhes
SIGKILL (exit 137) / Out of memory: Killed process (DataLoader)OOM na RAM do hostO kernel Linux OOM-killer encerrou o processo por falta de RAM CPU, não VRAM.Checar dmesg oom-kill, limites cgroup e contagem de workers DataLoader.Ver detalhes
EOFError / RuntimeError: unexpected EOF in checkpoint shardCheckpoint incompletoGravação do shard interrompida por preempção ou falha no sistema de arquivos.Cruzar logs de I/O com o horário da gravação e evitar retomar shard truncado.Ver detalhes
loss=nan / grad_norm=inf during mixed-precision stepDivergência numéricaEstouro de gradiente em precisão mista ou lote inválido propagado no AllReduce.Inspecionar o primeiro passo com NaN, escala de perda e lote por rank.Ver detalhes
Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded)RDMA / InfiniBandQueda física em porta mlx5 ou congestionamento RoCE em treino distribuído.Registrar hostname e porta mlx5 conforme o guia regional Brasil / LATAM.Guia Cloud PT

Evidências para preservar antes de reiniciar o nó

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

Triagem por nuvem GPU no Brasil, Portugal e LATAM

Ferramentas GPU gratuitas direto no navegador

Perguntas frequentes

O rank 0 com timeout NCCL é sempre o culpado?

Normalmente não. Ele continuou vivo aguardando um par que travou antes. Compare WorkNCCL SeqNum e erros iniciais.

Como separar defeito físico InfiniBand de configuração?

ibv_poll_cq error 12 recorrente em uma porta mlx5 indica problema de link/transceptor; falha de bootstrap indica rede/interface.

Plano gratuito de $0 e avaliação Team de 30 dias (sem cartão · fatura corporativa)

Qualquer e-mail pessoal ou corporativo pode criar uma conta gratuita de $0. Para times em produção, o checkout Stripe aceita cartões corporativos, registro fiscal (CNPJ/NIF) e fatura anual.