Skip to content
vLLM 워커 크래시

vLLM EngineCore 백그라운드 종료 장애 진단

외부 API는 연결 끊김이나 500만 반환하지만 실제 원인은 `/dev/shm` 고갈, `--ipc=host` 누락, 커널 OOM, 또는 워커 GPU의 CUDA/Xid 오류입니다.

대표 로그 시그니처

RuntimeError: EngineCore in background process died unexpectedly / Worker_TP2 exited with exit code -7 (SIGBUS)

근본 원인과 연쇄 증상 구분

컨테이너 기본 공유 메모리(64MB) 초과 시 발생하는 `SIGBUS`, 멀티 GPU IPC 실패, 혹은 호스트 메모리 초과 종료가 주원인입니다.

재시작 전 반드시 확보할 진단 명령

df -h /dev/shm
dmesg -T | grep -i -E "oom-kill|nvrm|xid|sigbus"
docker inspect <CONTAINER> --format '{{.HostConfig.IpcMode}} shm={{.HostConfig.ShmSize}}'

안전한 점검 및 조치 절차

  1. `df -h /dev/shm`과 Docker/K8s 공유 메모리 및 `--ipc=host` 구성을 먼저 점검합니다.
  2. `dmesg -T`에서 `oom-kill`, `NVRM Xid`, `SIGBUS` 메시지를 검색합니다.
  3. API 프록시 로그가 아니라 실제 백그라운드 워커 stderr의 최초 스택 트레이스를 확보합니다.
가입 없는 실시간 진단

내 GPU 로그에서 최초 원인 바로 확인하기

로그를 붙여넣으면 브라우저에서 민감 정보를 자동 마스킹한 뒤 선행 원인을 추적합니다.

업로드 전 클라우드 데이터 처리 및 로컬 실행 옵션을 확인하세요.

training_logs.txt
테스트할 로그가 없다면 예시를 선택하세요:

대용량 로그 파일은 브라우저에서 먼저 압축 정리되며 진단 실행 시 선별된 증거만 전송됩니다.

하루 3회 무료 클라우드 진단

자주 묻는 질문

Worker exited with exit code -7 (SIGBUS) 원인은?

대부분 Docker `/dev/shm` 부족입니다. 컨테이너 실행 시 `--shm-size`를 충분히 할당하거나 `--ipc=host`를 사용하세요.

서비스 중에만 간헐적으로 죽는다면 무엇을 봐야 하나요?

긴 컨텍스트 요청 시 호스트 RAM 급증 또는 특정 양자화 커널에서 발생하는 비정상 메모리 접근 여부를 확인해야 합니다.

관련 한국어 장애 트리아지 가이드

영문 전체 데이터베이스 문서:English Full Entry 보기

Denpex 30일 무료 체험. 무료.

카드 등록 없음. 자동 구독 전환 없음. 이미 원인을 파악한 과거 장애로 Denpex의 분석 정확도를 직접 확인하세요.

무료 30일 Team 평가 시작하기

30일 동안 하루 최대 50회 진단을 지원합니다. 회사 이메일을 인증해 기업 평가판을 활성화한 뒤, 기존 인시던트 로그를 재현하여 팀이 확정한 원인과 근거를 비교해 보세요.

회사 도메인 이메일을 입력하세요 (예: minsu@yourcompany.co.kr).

신청 자격 안내

이메일 및 도메인 확인이 완료된 기업 도메인은 30일 무료 Team 평가(일 50회 진단)가 활성화됩니다. 자동 확인이 어려운 도메인은 support@denpex.com 에서 검토합니다. 에디터 확장의 로컬 진단은 계정이 필요 없습니다.

개인 이메일(Gmail, Naver, Outlook) 또는 개인 클러스터를 사용 중이신가요? $0 무료 계정 만들기 (개인 이메일 가능)에서 7일 기록 저장 및 AI 진단을 이용하거나 클러스터 장애 로그를 보내 라이브 데모를 요청하세요.