분산 학습 · 2차 연쇄 증상
NCCL Watchdog 타임아웃 근본 원인 분리
NCCL timeout 로그를 남긴 랭크는 대부분 끝까지 살아 대기하던 피해자이며, 먼저 크래시하거나 느려진 다른 랭크가 진짜 발원지입니다.
대표 로그 시그니처
[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 ms근본 원인과 연쇄 증상 구분
일부 노드에서 CUDA OOM, 호스트 RAM OOM-killer(SIGKILL), Xid 79 버스 이탈, 또는 DataLoader 병목이 먼저 발생하면 나머지 랭크들이 `ALLREDUCE` 대기 중 타임아웃에 빠집니다.
재시작 전 반드시 확보할 진단 명령
export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"안전한 점검 및 조치 절차
- 전체 랭크 로그에서 가장 이른 시각의 예외, SIGKILL, 커널 Xid 발생 노드를 시간순으로 대조합니다.
- `WorkNCCL(SeqNum=...)` 값을 비교해 모든 노드가 멈춘 정확한 집합 통신 단계를 확인합니다.
- InfiniBand `ibv_poll_cq error 12` 같은 물리 링크 장애와 소프트웨어 지연을 분리해 대응합니다.
가입 없는 실시간 진단
내 GPU 로그에서 최초 원인 바로 확인하기
로그를 붙여넣으면 브라우저에서 민감 정보를 자동 마스킹한 뒤 선행 원인을 추적합니다.
업로드 전 클라우드 데이터 처리 및 로컬 실행 옵션을 확인하세요.
training_logs.txt
테스트할 로그가 없다면 예시를 선택하세요:
대용량 로그 파일은 브라우저에서 먼저 압축 정리되며 진단 실행 시 선별된 증거만 전송됩니다.
하루 3회 무료 클라우드 진단
자주 묻는 질문
NCCL 타임아웃 시간만 늘리면 해결되나요?
아닙니다. 타임아웃 연장은 이미 멈춘 랭크 대기 시간만 늘릴 뿐이므로 `TORCH_NCCL_DUMP_ON_TIMEOUT=1`로 멈춘 랭크를 특정해야 합니다.
Rank 0에 에러가 먼저 떴다면 Rank 0 문제인가요?
보통 Rank 0은 다른 피어의 응답을 기다리다 워치독이 먼저 터진 피해자입니다.
관련 한국어 장애 트리아지 가이드
NVIDIA Xid 79 (PCIe 버스 이탈) 원인 분류 및 대응호스트 RAM OOM-killer (SIGKILL / exit 137) 트리아지CUDA out of memory (VRAM 고갈 · 단편화) 진단 가이드무료 LLM VRAM 계산기 열기
영문 전체 데이터베이스 문서:English Full Entry 보기
Denpex 30일 무료 체험. 무료.
카드 등록 없음. 자동 구독 전환 없음. 이미 원인을 파악한 과거 장애로 Denpex의 분석 정확도를 직접 확인하세요.
무료 30일 Team 평가 시작하기
30일 동안 하루 최대 50회 진단을 지원합니다. 회사 이메일을 인증해 기업 평가판을 활성화한 뒤, 기존 인시던트 로그를 재현하여 팀이 확정한 원인과 근거를 비교해 보세요.