vLLM · SGLang · TensorRT-LLM 멀티 GPU 서빙
vLLM KV 캐시 OOM · EngineCore 종료 · 멀티 GPU 추론 장애 해결
No available memory for the cache blocks, EngineCore died, SGLang FlashInfer 오류, DeepSeek V4 · Qwen 3.5 · EXAONE 3.5 모델 배치 시 HBM 부족 원인을 정리했습니다.
주요 장애 패턴 및 1차 대응
| 오류 시그니처 | 분류 | 원인 요약 | 1차 점검 항목 | 열기 |
|---|---|---|---|---|
| ValueError: No available memory for the cache blocks | 메모리 부족 | 모델 가중치와 CUDA 그래프 적재 후 KV 캐시 블록을 할당할 HBM 여유가 부족합니다. | /ko/vram-calculator에서 컨텍스트 길이, FP8 정밀도, TP 구성을 검증하세요. | 상세 보기 |
| RuntimeError: EngineCore encountered a fatal exception / died | 워커 비정상 종료 | vLLM EngineCore 서브프로세스가 CUDA 오류, /dev/shm 부족, 호스트 OOM으로 종료되었습니다. | API 게이트웨이 로그가 아닌 워커 rank stderr와 커널 dmesg Xid를 확인하세요. | 상세 보기 |
| TensorRT-LLM / SGLang / vLLM-Omni multi-GPU IPC 또는 CUDA Graph 오류 | 추론 서빙 설정 | 다중 GPU 추론 시 --ipc=host 누락, /dev/shm 부족, 또는 FlashInfer 커널 아키텍처 충돌입니다. | 멀티 GPU 서빙 통합 트리아지 가이드에서 엔진별 플래그를 점검하세요. | 가이드 보기 |
장애 재시도 전 먼저 확보할 현장 로그
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1국내외 주요 GPU 클라우드 장애 대응
브라우저 로컬 무료 GPU 진단 도구
자주 묻는 질문
No available memory for the cache blocks 오류의 가장 빠른 점검법은?
모델 가중치와 CUDA Graph 할당 후 남은 VRAM이 max_model_len 대비 부족한 상태입니다. /ko/vram-calculator에서 FP8 양자화 또는 TP 증설을 먼저 계산하세요.
다중 GPU에서 EngineCore나 커스텀 AllReduce가 멈추는 이유는?
Kubernetes 또는 Docker 컨테이너의 /dev/shm 용량 부족, --ipc=host 누락, 또는 GPU P2P 통신 차단이 대표적입니다.
$0 무료 계정 · 30일 Team 파일럿 (법인카드 · 사업자등록/세금계산서 증빙)
개인 이메일을 포함한 모든 이메일로 $0 무료 계정을 바로 시작할 수 있습니다. 유료 결제 시 Stripe에서 해외 결제가 지원되는 국내 법인카드와 사업자/VAT 번호 입력을 지원하며, 연간 계약 인보이스 발행도 신청할 수 있습니다.