GPU 메모리 부족 · 단편화
CUDA out of memory (VRAM 고갈 · 단편화) 진단 가이드
모델 가중치·그래디언트·옵티마이저·KV 캐시가 가용 HBM을 초과한 상태이지만, allocated보다 reserved가 훨씬 크다면 메모리 단편화인 경우가 많습니다.
대표 로그 시그니처
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 79.15 GiB total capacity; 75.80 GiB already allocated; 1.12 GiB free)근본 원인과 연쇄 증상 구분
오류 메시지의 `allocated` 대비 `reserved in total by PyTorch`가 비정상적으로 높으면 연속 블록 확보 실패입니다. 반대로 둘 다 GPU 한계에 닿았다면 배치, 시퀀스 길이, 정밀도나 병렬도를 줄여야 합니다.
재시작 전 반드시 확보할 진단 명령
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
export PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True,max_split_size_mb:128"
python3 -c "import torch; print(torch.cuda.memory_summary())"안전한 점검 및 조치 절차
- 트레이스백의 allocated 용량과 reserved 용량 차이를 확인해 단편화 여부를 먼저 판별합니다.
- 단편화 비중이 크다면 `PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True`를 적용해 재테스트합니다.
- 실제 용량 초과라면 activation checkpointing, 마이크로배치 축소, 또는 FSDP/TP 증설로 분산합니다.
가입 없는 실시간 진단
내 GPU 로그에서 최초 원인 바로 확인하기
로그를 붙여넣으면 브라우저에서 민감 정보를 자동 마스킹한 뒤 선행 원인을 추적합니다.
업로드 전 클라우드 데이터 처리 및 로컬 실행 옵션을 확인하세요.
training_logs.txt
테스트할 로그가 없다면 예시를 선택하세요:
대용량 로그 파일은 브라우저에서 먼저 압축 정리되며 진단 실행 시 선별된 증거만 전송됩니다.
하루 3회 무료 클라우드 진단
자주 묻는 질문
nvidia-smi에는 여유 메모리가 보이는데 CUDA OOM이 뜨는 이유는?
PyTorch 캐시 할당자 내부에 예약(reserved)된 조각이 흩어져 있어 큰 연속 텐서를 못 잡거나, 다른 프로세스가 동시에 점유 중일 수 있습니다.
실행 전에 필요 VRAM을 계산할 수 있나요?
한국어 LLM VRAM 계산기(/ko/vram-calculator)에서 정밀도·컨텍스트별 용량을 미리 검증하세요.
관련 한국어 장애 트리아지 가이드
vLLM KV 캐시 부족 (No available memory for the cache blocks)호스트 RAM OOM-killer (SIGKILL / exit 137) 트리아지NCCL Watchdog 타임아웃 근본 원인 분리무료 LLM VRAM 계산기 열기
영문 전체 데이터베이스 문서:English Full Entry 보기
Denpex 30일 무료 체험. 무료.
카드 등록 없음. 자동 구독 전환 없음. 이미 원인을 파악한 과거 장애로 Denpex의 분석 정확도를 직접 확인하세요.
무료 30일 Team 평가 시작하기
30일 동안 하루 최대 50회 진단을 지원합니다. 회사 이메일을 인증해 기업 평가판을 활성화한 뒤, 기존 인시던트 로그를 재현하여 팀이 확정한 원인과 근거를 비교해 보세요.