InfiniBand / RoCE / PyTorch DDP 타임아웃 분석
NCCL Watchdog 타임아웃 · InfiniBand 링크 장애 · 최초 발원 랭크 추적
모든 워커가 일제히 멈추는 WorkNCCL 타임아웃에서 생존 랭크의 연쇄 로그를 걸러내고, ibv_poll_cq error 12, VPC MTU 불일치, 또는 선행 OOM 랭크를 분리합니다.
주요 장애 패턴 및 1차 대응
| 오류 시그니처 | 분류 | 원인 요약 | 1차 점검 항목 | 열기 |
|---|---|---|---|---|
| Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE) | 2차 연쇄 증상 | 정상 랭크들이 이미 종료되었거나 멈춘 선행 랭크를 기다리다가 집단 통신 타임아웃에 걸렸습니다. | 모든 랭크의 최초 예외와 WorkNCCL SeqNum을 대조해 발원 노드를 먼저 찾으세요. | 상세 보기 |
| Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded) | RDMA / 물리 링크 | KT Cloud, NHN Cloud 등 InfiniBand/RoCE 환경에서 mlx5 포트 또는 광트랜시버 장애가 발생했습니다. | 발생 노드 호스트명과 mlx5 포트 번호를 보존해 인프라 티켓으로 격리하세요. | 클라우드 가이드 |
| Bootstrap socket connect failed / VPC MTU 단편화 | 네트워크 설정 | 네이버 클라우드 · 카카오클라우드 VPC에서 NCCL_SOCKET_IFNAME 또는 MTU 불일치가 발생했습니다. | 로컬 인터페이스 바인딩과 방화벽 임시 포트 대역을 확인하세요. | 설정 확인 |
장애 재시도 전 먼저 확보할 현장 로그
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1국내외 주요 GPU 클라우드 장애 대응
브라우저 로컬 무료 GPU 진단 도구
자주 묻는 질문
로그에 가장 먼저 찍힌 Rank 0 타임아웃이 원인 노드인가요?
아닙니다. Rank 0 타임아웃은 다른 피어가 응답하지 않아 대기하다 터진 결과인 경우가 많으므로, 모든 랭크의 직전 예외와 WorkNCCL SeqNum을 대조해야 합니다.
노드별 네트워크 설정 문제와 하드웨어 링크 폴트를 어떻게 구분하나요?
특정 호스트의 mlx5 포트에 Transport retry counter exceeded가 반복되면 물리/RDMA 링크를, 연결 거부와 인터페이스 불일치면 NCCL_SOCKET_IFNAME 및 방화벽을 점검하세요.
$0 무료 계정 · 30일 Team 파일럿 (법인카드 · 사업자등록/세금계산서 증빙)
개인 이메일을 포함한 모든 이메일로 $0 무료 계정을 바로 시작할 수 있습니다. 유료 결제 시 Stripe에서 해외 결제가 지원되는 국내 법인카드와 사업자/VAT 번호 입력을 지원하며, 연간 계약 인보이스 발행도 신청할 수 있습니다.