Skip to content
분산 학습 · 2차 연쇄 증상

NCCL Watchdog 타임아웃 근본 원인 분리

NCCL timeout 로그를 남긴 랭크는 대부분 끝까지 살아 대기하던 피해자이며, 먼저 크래시하거나 느려진 다른 랭크가 진짜 발원지입니다.

대표 로그 시그니처

[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 ms

근본 원인과 연쇄 증상 구분

일부 노드에서 CUDA OOM, 호스트 RAM OOM-killer(SIGKILL), Xid 79 버스 이탈, 또는 DataLoader 병목이 먼저 발생하면 나머지 랭크들이 `ALLREDUCE` 대기 중 타임아웃에 빠집니다.

재시작 전 반드시 확보할 진단 명령

export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"

안전한 점검 및 조치 절차

  1. 전체 랭크 로그에서 가장 이른 시각의 예외, SIGKILL, 커널 Xid 발생 노드를 시간순으로 대조합니다.
  2. `WorkNCCL(SeqNum=...)` 값을 비교해 모든 노드가 멈춘 정확한 집합 통신 단계를 확인합니다.
  3. InfiniBand `ibv_poll_cq error 12` 같은 물리 링크 장애와 소프트웨어 지연을 분리해 대응합니다.
가입 없는 실시간 진단

내 GPU 로그에서 최초 원인 바로 확인하기

로그를 붙여넣으면 브라우저에서 민감 정보를 자동 마스킹한 뒤 선행 원인을 추적합니다.

업로드 전 클라우드 데이터 처리 및 로컬 실행 옵션을 확인하세요.

training_logs.txt
테스트할 로그가 없다면 예시를 선택하세요:

대용량 로그 파일은 브라우저에서 먼저 압축 정리되며 진단 실행 시 선별된 증거만 전송됩니다.

하루 3회 무료 클라우드 진단

자주 묻는 질문

NCCL 타임아웃 시간만 늘리면 해결되나요?

아닙니다. 타임아웃 연장은 이미 멈춘 랭크 대기 시간만 늘릴 뿐이므로 `TORCH_NCCL_DUMP_ON_TIMEOUT=1`로 멈춘 랭크를 특정해야 합니다.

Rank 0에 에러가 먼저 떴다면 Rank 0 문제인가요?

보통 Rank 0은 다른 피어의 응답을 기다리다 워치독이 먼저 터진 피해자입니다.

관련 한국어 장애 트리아지 가이드

영문 전체 데이터베이스 문서:English Full Entry 보기

Denpex 30일 무료 체험. 무료.

카드 등록 없음. 자동 구독 전환 없음. 이미 원인을 파악한 과거 장애로 Denpex의 분석 정확도를 직접 확인하세요.

무료 30일 Team 평가 시작하기

30일 동안 하루 최대 50회 진단을 지원합니다. 회사 이메일을 인증해 기업 평가판을 활성화한 뒤, 기존 인시던트 로그를 재현하여 팀이 확정한 원인과 근거를 비교해 보세요.

회사 도메인 이메일을 입력하세요 (예: minsu@yourcompany.co.kr).

신청 자격 안내

이메일 및 도메인 확인이 완료된 기업 도메인은 30일 무료 Team 평가(일 50회 진단)가 활성화됩니다. 자동 확인이 어려운 도메인은 support@denpex.com 에서 검토합니다. 에디터 확장의 로컬 진단은 계정이 필요 없습니다.

개인 이메일(Gmail, Naver, Outlook) 또는 개인 클러스터를 사용 중이신가요? $0 무료 계정 만들기 (개인 이메일 가능)에서 7일 기록 저장 및 AI 진단을 이용하거나 클러스터 장애 로그를 보내 라이브 데모를 요청하세요.