Diagnóstico de Timeout Watchdog NCCL e rank inicial
O processo que registra o timeout do NCCL quase sempre é um sobrevivente saudável que ficou aguardando um par que travou ou fechou antes.
Assinatura típica no log
[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 msCausa raiz e diferenciação de cascatas
Um CUDA OOM prévio, OOM-killer na RAM do servidor (SIGKILL), Xid 79 ou DataLoader lento bloqueia o `ALLREDUCE` até o watchdog disparar.
Comandos de evidência antes de reiniciar
export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"Passos seguros de triagem e correção
- Ordenar os logs de todos os ranks em UTC procurando a primeira exceção, SIGKILL ou Xid de kernel.
- Comparar o menor `WorkNCCL(SeqNum=...)` para confirmar em qual etapa coletiva o cluster parou.
- Distinguir defeitos físicos RDMA (`ibv_poll_cq error 12`) de gargalos de host ou código.
Analise seu log de GPU grátis para achar o primeiro erro
Endereços IP, chaves e caminhos locais são mascarados no seu navegador.
Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.
Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.
Perguntas frequentes
Aumentar o timeout do NCCL resolve a falha?
Não. Só prolonga o tempo parado antes do erro; use `TORCH_NCCL_DUMP_ON_TIMEOUT=1` para capturar qual rank travou.
Se o Rank 0 disparou primeiro, o problema está no Rank 0?
Geralmente não: ele costuma ser apenas o coordenador esperando outro rank silencioso.
Outros guias de falhas GPU em português
Experimente o Denpex por 30 dias. GRÁTIS.
Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.
Inicie sua avaliação Team gratuita de 30 dias
Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.