Skip to content
Inestabilidad numérica / Datos

Divergencia Loss NaN y gradiente Inf en entrenamiento

Dado que AllReduce sincroniza gradientes cada paso, un único lote con NaN en una GPU contamina todos los nodos de inmediato.

Firma característica del error

step=1420 loss=nan grad_norm=inf learning_rate=3.0e-4 (AMP GradScaler skipped step or BF16 activation overflow)

Causa raíz frente a síntomas secundarios

Learning rate alto sin warmup suficiente, desborde en escalador FP16, logits extremos o índices de tokens o máscaras inválidas.

Comandos de evidencia antes de reiniciar

grep -n -E "nan|inf|overflow|grad_norm" train_*.log | head -n 40
export TORCH_SHOW_CPP_STACKTRACES=1
# Re-run exact checkpoint step with torch.autograd.set_detect_anomaly(True) on a short repro

Pasos seguros de diagnóstico y solución

  1. Retroceder en el log para hallar el primer paso con `grad_norm=inf` o caída brusca del Loss Scaler.
  2. Reproducir desde el último checkpoint previo sano con detección de anomalías en ese lote.
  3. Validar gradient clipping (`max_norm=1.0`), acumulación FP32 y sanidad de etiquetas e inputs.
Diagnóstico en vivo sin registro

Analiza gratis tu log de GPU para detectar el fallo inicial

Los valores sensibles se enmascaran en tu navegador antes del envío.

Revisa antes de subir: gestión de datos en la nube y opción 100 % local.

training_logs.txt
¿No tienes un log a mano? Carga un ejemplo:

Los archivos grandes se condensan en tu navegador. Solo la evidencia seleccionada se envía al diagnosticar.

3 diagnósticos cloud gratuitos al día

Preguntas frecuentes

Todas las GPUs muestran NaN a la vez: ¿falló todo el hardware?

No. El promedio distribuido difunde en un paso cualquier anomalía puntual de datos o precisión.

¿Por qué repite exactamente en el mismo paso al reanudar?

Con orden determinista vuelve a procesar el lote defectuoso en ese paso; inspecciona ese batch concreto.

Otros fallos frecuentes en español

Referencia técnica completa en inglés:Ver ficha completa en inglés

Prueba Denpex por 30 días. GRATIS.

Sin tarjeta de crédito. Sin suscripción automática. Comprueba si Denpex ayuda con un incidente que ya conoces.

Inicia tu evaluación Team gratuita de 30 días

Hasta 50 diagnósticos diarios durante 30 días. Verifica tu correo laboral para activar una evaluación empresarial elegible, reproduce un incidente resuelto y compara la evidencia con la causa confirmada por tu equipo.

Usa el correo de tu empresa, por ejemplo alex@tuempresa.com.

¿Quién califica?

Los dominios corporativos activan la evaluación gratuita de 30 días tras validar el correo y dominio. Si no podemos verificarlo automáticamente, escribe a support@denpex.com. El diagnóstico local en el editor no requiere cuenta.

¿Usas correo personal (Gmail, Outlook) o un clúster individual? Crea una cuenta gratuita de $0 (sin correo de trabajo) para guardar 7 días de historial, o envía un log de error para una revisión en vivo.