Divergência Loss NaN e gradiente Inf no treino
No treino síncrono, o AllReduce propaga imediatamente um gradiente NaN de uma única GPU para todo o cluster, exigindo localizar o passo inicial.
Assinatura típica no log
step=1420 loss=nan grad_norm=inf learning_rate=3.0e-4 (AMP GradScaler skipped step or BF16 activation overflow)Causa raiz e diferenciação de cascatas
Learning rate alto sem warmup suficiente, falha no Loss Scaler FP16, saturação na atenção ou tokens e máscaras inválidos em um lote.
Comandos de evidência antes de reiniciar
grep -n -E "nan|inf|overflow|grad_norm" train_*.log | head -n 40
export TORCH_SHOW_CPP_STACKTRACES=1
# Re-run exact checkpoint step with torch.autograd.set_detect_anomaly(True) on a short reproPassos seguros de triagem e correção
- Voltar no log até achar o primeiro passo onde `grad_norm=inf` ou o Loss Scaler caiu antes de `loss=nan`.
- Reproduzir brevemente a partir do checkpoint anterior saudável com detecção de anomalias.
- Conferir gradient clipping (`max_norm=1.0`), acumulação em FP32 e validação dos tensores de entrada.
Analise seu log de GPU grátis para achar o primeiro erro
Endereços IP, chaves e caminhos locais são mascarados no seu navegador.
Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.
Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.
Perguntas frequentes
Todas as GPUs deram NaN juntas: todas estragaram?
Não. O AllReduce distribui em um único passo o NaN gerado em qualquer rank para toda a malha.
Por que sempre quebra exatamente no mesmo step ao retomar?
Com embaralhamento determinístico, o treino revisita exatamente o lote problemático naquele índice.
Outros guias de falhas GPU em português
Experimente o Denpex por 30 dias. GRÁTIS.
Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.
Inicie sua avaliação Team gratuita de 30 dias
Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.