호스트 시스템 메모리 OOM
호스트 RAM OOM-killer (SIGKILL / exit 137) 트리아지
GPU 메모리 문제가 아니라 서버 물리 RAM 또는 Slurm/Docker cgroup 메모리 한계 초과로 리눅스 커널이 학습 프로세스를 즉시 강제 종료했습니다.
대표 로그 시그니처
torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kB근본 원인과 연쇄 증상 구분
여러 `num_workers`의 데이터 복제, 모든 랭크에서 동시 체크포인트 적재, 또는 `pin_memory` 증가로 호스트 메모리가 한계에 도달합니다.
재시작 전 반드시 확보할 진단 명령
dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMem안전한 점검 및 조치 절차
- `dmesg -T | grep -i oom-kill`과 `sacct` MaxRSS 값으로 커널 OOM 여부를 확정합니다.
- 모델/체크포인트 로딩을 Rank 0 또는 랭크별 샤딩으로 변경해 중복 RAM 사용을 제거합니다.
- DataLoader `num_workers`, prefetch 팩터, 컨테이너 메모리 한도를 재산정합니다.
가입 없는 실시간 진단
내 GPU 로그에서 최초 원인 바로 확인하기
로그를 붙여넣으면 브라우저에서 민감 정보를 자동 마스킹한 뒤 선행 원인을 추적합니다.
업로드 전 클라우드 데이터 처리 및 로컬 실행 옵션을 확인하세요.
training_logs.txt
테스트할 로그가 없다면 예시를 선택하세요:
대용량 로그 파일은 브라우저에서 먼저 압축 정리되며 진단 실행 시 선별된 증거만 전송됩니다.
하루 3회 무료 클라우드 진단
자주 묻는 질문
GPU 메모리 여유가 충분한데 exit code 137이 나는 이유는?
exit 137(128+9)은 CPU 측 호스트 메모리 부족이나 cgroup 제한으로 커널이 보낸 `SIGKILL` 신호입니다.
그 직후 다른 노드에서 NCCL timeout이 뜨는 것도 연관 있나요?
네. 한 노드가 호스트 OOM으로 사라지면 살아남은 노드들이 응답을 기다리다 NCCL 타임아웃을 발생시킵니다.
관련 한국어 장애 트리아지 가이드
NCCL Watchdog 타임아웃 근본 원인 분리CUDA out of memory (VRAM 고갈 · 단편화) 진단 가이드체크포인트 손상 및 로드 실패 (EOFError) 분석무료 LLM VRAM 계산기 열기
영문 전체 데이터베이스 문서:English Full Entry 보기
Denpex 30일 무료 체험. 무료.
카드 등록 없음. 자동 구독 전환 없음. 이미 원인을 파악한 과거 장애로 Denpex의 분석 정확도를 직접 확인하세요.
무료 30일 Team 평가 시작하기
30일 동안 하루 최대 50회 진단을 지원합니다. 회사 이메일을 인증해 기업 평가판을 활성화한 뒤, 기존 인시던트 로그를 재현하여 팀이 확정한 원인과 근거를 비교해 보세요.