Skip to content
Comunicação distribuída / Efeito cascata

Diagnóstico de Timeout Watchdog NCCL e rank inicial

O processo que registra o timeout do NCCL quase sempre é um sobrevivente saudável que ficou aguardando um par que travou ou fechou antes.

Assinatura típica no log

[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 ms

Causa raiz e diferenciação de cascatas

Um CUDA OOM prévio, OOM-killer na RAM do servidor (SIGKILL), Xid 79 ou DataLoader lento bloqueia o `ALLREDUCE` até o watchdog disparar.

Comandos de evidência antes de reiniciar

export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"

Passos seguros de triagem e correção

  1. Ordenar os logs de todos os ranks em UTC procurando a primeira exceção, SIGKILL ou Xid de kernel.
  2. Comparar o menor `WorkNCCL(SeqNum=...)` para confirmar em qual etapa coletiva o cluster parou.
  3. Distinguir defeitos físicos RDMA (`ibv_poll_cq error 12`) de gargalos de host ou código.
Diagnóstico ao vivo sem cadastro

Analise seu log de GPU grátis para achar o primeiro erro

Endereços IP, chaves e caminhos locais são mascarados no seu navegador.

Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.

training_logs.txt
Não tem um log à mão? Escolha um exemplo:

Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.

3 diagnósticos em nuvem grátis por dia

Perguntas frequentes

Aumentar o timeout do NCCL resolve a falha?

Não. Só prolonga o tempo parado antes do erro; use `TORCH_NCCL_DUMP_ON_TIMEOUT=1` para capturar qual rank travou.

Se o Rank 0 disparou primeiro, o problema está no Rank 0?

Geralmente não: ele costuma ser apenas o coordenador esperando outro rank silencioso.

Outros guias de falhas GPU em português

Documentação técnica completa em inglês:Abrir referência completa em inglês

Experimente o Denpex por 30 dias. GRÁTIS.

Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.

Inicie sua avaliação Team gratuita de 30 dias

Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.

Use seu e-mail da empresa, por exemplo alex@suaempresa.com.

Quem é elegível?

Domínios corporativos ativam a avaliação gratuita de 30 dias após a verificação do e-mail e domínio. Se a validação automática falhar, fale com support@denpex.com. O diagnóstico local na extensão do editor dispensa conta.

Usando e-mail pessoal (Gmail, Outlook) ou cluster solo? Criar conta gratuita de $0 (não exige e-mail corporativo) para salvar histórico de 7 dias, ou envie um log de falha para demonstração ao vivo.