Skip to content
Instabilidade numérica / Dados

Divergência Loss NaN e gradiente Inf no treino

No treino síncrono, o AllReduce propaga imediatamente um gradiente NaN de uma única GPU para todo o cluster, exigindo localizar o passo inicial.

Assinatura típica no log

step=1420 loss=nan grad_norm=inf learning_rate=3.0e-4 (AMP GradScaler skipped step or BF16 activation overflow)

Causa raiz e diferenciação de cascatas

Learning rate alto sem warmup suficiente, falha no Loss Scaler FP16, saturação na atenção ou tokens e máscaras inválidos em um lote.

Comandos de evidência antes de reiniciar

grep -n -E "nan|inf|overflow|grad_norm" train_*.log | head -n 40
export TORCH_SHOW_CPP_STACKTRACES=1
# Re-run exact checkpoint step with torch.autograd.set_detect_anomaly(True) on a short repro

Passos seguros de triagem e correção

  1. Voltar no log até achar o primeiro passo onde `grad_norm=inf` ou o Loss Scaler caiu antes de `loss=nan`.
  2. Reproduzir brevemente a partir do checkpoint anterior saudável com detecção de anomalias.
  3. Conferir gradient clipping (`max_norm=1.0`), acumulação em FP32 e validação dos tensores de entrada.
Diagnóstico ao vivo sem cadastro

Analise seu log de GPU grátis para achar o primeiro erro

Endereços IP, chaves e caminhos locais são mascarados no seu navegador.

Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.

training_logs.txt
Não tem um log à mão? Escolha um exemplo:

Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.

3 diagnósticos em nuvem grátis por dia

Perguntas frequentes

Todas as GPUs deram NaN juntas: todas estragaram?

Não. O AllReduce distribui em um único passo o NaN gerado em qualquer rank para toda a malha.

Por que sempre quebra exatamente no mesmo step ao retomar?

Com embaralhamento determinístico, o treino revisita exatamente o lote problemático naquele índice.

Outros guias de falhas GPU em português

Documentação técnica completa em inglês:Abrir referência completa em inglês

Experimente o Denpex por 30 dias. GRÁTIS.

Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.

Inicie sua avaliação Team gratuita de 30 dias

Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.

Use seu e-mail da empresa, por exemplo alex@suaempresa.com.

Quem é elegível?

Domínios corporativos ativam a avaliação gratuita de 30 dias após a verificação do e-mail e domínio. Se a validação automática falhar, fale com support@denpex.com. O diagnóstico local na extensão do editor dispensa conta.

Usando e-mail pessoal (Gmail, Outlook) ou cluster solo? Criar conta gratuita de $0 (não exige e-mail corporativo) para salvar histórico de 7 dias, ou envie um log de falha para demonstração ao vivo.