vLLM 워커 크래시
vLLM EngineCore 백그라운드 종료 장애 진단
외부 API는 연결 끊김이나 500만 반환하지만 실제 원인은 `/dev/shm` 고갈, `--ipc=host` 누락, 커널 OOM, 또는 워커 GPU의 CUDA/Xid 오류입니다.
대표 로그 시그니처
RuntimeError: EngineCore in background process died unexpectedly / Worker_TP2 exited with exit code -7 (SIGBUS)근본 원인과 연쇄 증상 구분
컨테이너 기본 공유 메모리(64MB) 초과 시 발생하는 `SIGBUS`, 멀티 GPU IPC 실패, 혹은 호스트 메모리 초과 종료가 주원인입니다.
재시작 전 반드시 확보할 진단 명령
df -h /dev/shm
dmesg -T | grep -i -E "oom-kill|nvrm|xid|sigbus"
docker inspect <CONTAINER> --format '{{.HostConfig.IpcMode}} shm={{.HostConfig.ShmSize}}'안전한 점검 및 조치 절차
- `df -h /dev/shm`과 Docker/K8s 공유 메모리 및 `--ipc=host` 구성을 먼저 점검합니다.
- `dmesg -T`에서 `oom-kill`, `NVRM Xid`, `SIGBUS` 메시지를 검색합니다.
- API 프록시 로그가 아니라 실제 백그라운드 워커 stderr의 최초 스택 트레이스를 확보합니다.
가입 없는 실시간 진단
내 GPU 로그에서 최초 원인 바로 확인하기
로그를 붙여넣으면 브라우저에서 민감 정보를 자동 마스킹한 뒤 선행 원인을 추적합니다.
업로드 전 클라우드 데이터 처리 및 로컬 실행 옵션을 확인하세요.
training_logs.txt
테스트할 로그가 없다면 예시를 선택하세요:
대용량 로그 파일은 브라우저에서 먼저 압축 정리되며 진단 실행 시 선별된 증거만 전송됩니다.
하루 3회 무료 클라우드 진단
자주 묻는 질문
Worker exited with exit code -7 (SIGBUS) 원인은?
대부분 Docker `/dev/shm` 부족입니다. 컨테이너 실행 시 `--shm-size`를 충분히 할당하거나 `--ipc=host`를 사용하세요.
서비스 중에만 간헐적으로 죽는다면 무엇을 봐야 하나요?
긴 컨텍스트 요청 시 호스트 RAM 급증 또는 특정 양자화 커널에서 발생하는 비정상 메모리 접근 여부를 확인해야 합니다.
관련 한국어 장애 트리아지 가이드
vLLM KV 캐시 부족 (No available memory for the cache blocks)CUDA out of memory (VRAM 고갈 · 단편화) 진단 가이드NVIDIA Xid 79 (PCIe 버스 이탈) 원인 분류 및 대응무료 LLM VRAM 계산기 열기
영문 전체 데이터베이스 문서:English Full Entry 보기
Denpex 30일 무료 체험. 무료.
카드 등록 없음. 자동 구독 전환 없음. 이미 원인을 파악한 과거 장애로 Denpex의 분석 정확도를 직접 확인하세요.
무료 30일 Team 평가 시작하기
30일 동안 하루 최대 50회 진단을 지원합니다. 회사 이메일을 인증해 기업 평가판을 활성화한 뒤, 기존 인시던트 로그를 재현하여 팀이 확정한 원인과 근거를 비교해 보세요.