Skip to content
수치 발산 · 데이터 이상

학습 Loss NaN 및 기울기 발산 (grad_norm inf) 가이드

분산 학습에서는 AllReduce가 한 랭크의 NaN을 즉시 모든 GPU로 전파하므로, 가장 먼저 발산한 스텝과 원시 데이터를 추적해야 합니다.

대표 로그 시그니처

step=1420 loss=nan grad_norm=inf learning_rate=3.0e-4 (AMP GradScaler skipped step or BF16 activation overflow)

근본 원인과 연쇄 증상 구분

과도한 학습률, 웜업 부족, FP16 Loss Scale 붕괴, 어텐션/LayerNorm 오버플로, 혹은 잘못된 입력 토큰 인덱스·마스크가 주요 원인입니다.

재시작 전 반드시 확보할 진단 명령

grep -n -E "nan|inf|overflow|grad_norm" train_*.log | head -n 40
export TORCH_SHOW_CPP_STACKTRACES=1
# Re-run exact checkpoint step with torch.autograd.set_detect_anomaly(True) on a short repro

안전한 점검 및 조치 절차

  1. 학습 로그에서 `loss=nan` 이전 `grad_norm` 급등 또는 Loss Scale 하락이 시작된 최초 스텝을 찾습니다.
  2. 직전 정상 체크포인트에서 짧은 재현을 돌리며 `detect_anomaly`로 첫 NaN 발생 연산을 격리합니다.
  3. gradient clipping, 학습률 웜업, 정밀도 설정(BF16 권장), 데이터셋 유효성 검사를 반영합니다.
가입 없는 실시간 진단

내 GPU 로그에서 최초 원인 바로 확인하기

로그를 붙여넣으면 브라우저에서 민감 정보를 자동 마스킹한 뒤 선행 원인을 추적합니다.

업로드 전 클라우드 데이터 처리 및 로컬 실행 옵션을 확인하세요.

training_logs.txt
테스트할 로그가 없다면 예시를 선택하세요:

대용량 로그 파일은 브라우저에서 먼저 압축 정리되며 진단 실행 시 선별된 증거만 전송됩니다.

하루 3회 무료 클라우드 진단

자주 묻는 질문

모든 GPU에서 동시에 NaN이 나왔는데 하드웨어 결함인가요?

동기식 AllReduce에서는 단 하나의 GPU나 배치 오류만 있어도 즉시 전체 랭크가 NaN이 되므로, 먼저 스텝·배치·스케일링을 확인해야 합니다.

재개할 때마다 같은 지점에서 터지면 원인이 무엇인가요?

해당 스텝이 읽는 특정 데이터 샤드나 시퀀스 길이 조합에 이상값이 포함되었을 가능성이 높습니다.

관련 한국어 장애 트리아지 가이드

영문 전체 데이터베이스 문서:English Full Entry 보기

Denpex 30일 무료 체험. 무료.

카드 등록 없음. 자동 구독 전환 없음. 이미 원인을 파악한 과거 장애로 Denpex의 분석 정확도를 직접 확인하세요.

무료 30일 Team 평가 시작하기

30일 동안 하루 최대 50회 진단을 지원합니다. 회사 이메일을 인증해 기업 평가판을 활성화한 뒤, 기존 인시던트 로그를 재현하여 팀이 확정한 원인과 근거를 비교해 보세요.

회사 도메인 이메일을 입력하세요 (예: minsu@yourcompany.co.kr).

신청 자격 안내

이메일 및 도메인 확인이 완료된 기업 도메인은 30일 무료 Team 평가(일 50회 진단)가 활성화됩니다. 자동 확인이 어려운 도메인은 support@denpex.com 에서 검토합니다. 에디터 확장의 로컬 진단은 계정이 필요 없습니다.

개인 이메일(Gmail, Naver, Outlook) 또는 개인 클러스터를 사용 중이신가요? $0 무료 계정 만들기 (개인 이메일 가능)에서 7일 기록 저장 및 AI 진단을 이용하거나 클러스터 장애 로그를 보내 라이브 데모를 요청하세요.