GPU 클러스터 엔지니어를 위한 무료 진단 및 계산 도구
데이터 외부 전송 없이 브라우저에서 실행되는 진단 참고 자료, 로컬 파서 및 계획 수립 계산기입니다. 각 도구는 진단 결과와 함께 인시던트 해결을 위한 구체적인 근거와 단계를 명시합니다.
NVIDIA Compute Sanitizer를 사용하고 계신가요?최소한의 CUDA 재현 및 memcheck 가이드를 확인하세요. 계측은 이 브라우저가 아니라 격리된 워크로드 환경에서 실행됩니다.
- 브라우저 전용 로컬 분석 및 보안 보장
오프라인 GPU 로그 분석기
수 GB 규모의 PyTorch, NCCL, vLLM, Slurm 로그를 외부 전송 없이 브라우저에서 직접 진단합니다. 랭크 캐스케이드, OOM, 하드웨어 중단을 로컬에서 평가합니다.
오프라인 GPU 로그 분석기 열기 - 깨진 ABI 빌드를 방지하는 정확한 버전 매칭
CUDA, 드라이버 및 PyTorch 호환성 해결사
NVIDIA 드라이버, CUDA 툴킷, PyTorch, FlashAttention 버전을 일치시키고 정확한 pip, uv, Docker 명령어를 생성하여 호환성 오류를 방지합니다.
CUDA, 드라이버 및 PyTorch 호환성 해결사 열기 - 하드웨어 및 소프트웨어 오류 원인 식별
NVIDIA Xid 디코더
NVRM Xid 라인을 입력하여 오류 코드, 결함 클래스, RMA 관련성 및 증거 보존을 위한 초기 대응 조치를 추출하고 심층 조사를 시작합니다.
NVIDIA Xid 디코더 열기 - 마지막 타임아웃 대신 최초의 증거를 발견
NCCL 로그 디코더
랭크 로그 전반의 CUDA, 부트스트랩, 전송, 중복 GPU 및 타임아웃 시그니처를 분류하며, 래퍼 오류는 부차적 요인으로 명확히 구분합니다.
NCCL 로그 디코더 열기 - GPU 리포트를 인큐베이션 증거로 변환
nvidia-smi 파서
GPU 식별, 메모리, 발열, 전력, 사용률, ECC 및 로우 리매퍼 필드를 로컬에서 파싱합니다. 하드웨어 판정이 아닌 명확한 분석용 증거를 제공합니다.
nvidia-smi 파서 열기 - 메모리 단편화와 실제 용량 부족의 구분
PyTorch CUDA OOM 트리아지
PyTorch 메모리 할당자 덤프와 예약 대 할당 풀을 검사하고, 가비지 컬렉션, 할당자 설정 및 배치 크기 조정을 위한 정확한 수정안을 제공합니다.
PyTorch CUDA OOM 트리아지 열기 - 불법 메모리 액세스 및 경쟁 상태 정밀 격리
Compute Sanitizer 및 Memcheck 가이드
cuda-memcheck, racecheck, synccheck 최소 재현 레시피를 통해 분산 통신 타임아웃 연쇄 발생 전에 불법 메모리 액세스를 격리합니다.
Compute Sanitizer 및 Memcheck 가이드 열기 - 사전 학습 완료 시간, MFU 및 클라우드 GPU 비용 산출
LLM 학습 시간 및 클러스터 비용 계산기
Chinchilla 토큰 FLOPs, 모델 FLOPs 활용률(MFU), 클러스터 처리량, H100, H200, B200 GPU 클러스터의 클라우드 대여 비용을 계산합니다.
LLM 학습 시간 및 클러스터 비용 계산기 열기 - 모델 가중치, KV 캐시, 활성화 및 텐서 병렬화 용량 산정
LLM 멀티노드 VRAM 계산기
H100, H200, B200, A100 클러스터 전반에서 모델 가중치, 컨텍스트 한계의 KV 캐시, 옵티마이저 상태, 파이프라인/텐서 병렬화를 측정합니다.
LLM 멀티노드 VRAM 계산기 열기 - 정밀한 GPU VRAM 할당, KV 캐시 동시성 한계 및 토큰 처리량 산출
LLM 추론 처리량 및 KV 캐시 사이저
프로덕션 서빙 엔진을 위한 생성 토큰 지연 시간, 프롬프트 처리량, 동시성 상한선을 추정합니다.
LLM 추론 처리량 및 KV 캐시 사이저 열기 - GID 인덱스, RoCE v2 매개변수 및 InfiniBand 패브릭 인터페이스 해결
RoCEv2 및 InfiniBand NCCL GID 인덱스 계산기
이동형 클러스터 상호 연결 환경에서 NCCL 인터페이스 바인딩 오류를 없애고 네트워크 장치를 올바르게 매핑합니다.
RoCEv2 및 InfiniBand NCCL GID 인덱스 계산기 열기 - ZeRO 단계 1, 2, 3 전반의 파티션 메모리 오버헤드 계산
DeepSpeed ZeRO 및 LoRA 메모리 계산기
분산 파인튜닝 및 사전 학습 워크로드에 필요한 정확한 파라미터, 그래디언트, 옵티마이저 상태 용량을 결정합니다.
DeepSpeed ZeRO 및 LoRA 메모리 계산기 열기 - GPU 장치 플러그인이 포함된 프로덕션 준비 K8s 매니페스트
Kubernetes GPU 작업 생성기 및 매니페스트 린터
안정적인 클러스터 오케스트레이션을 위해 리소스 요청, 노드 셀렉터, 톨러레이션, 공유 메모리 볼륨을 구성합니다.
Kubernetes GPU 작업 생성기 및 매니페스트 린터 열기 - 데이터센터 GPU 관리자 상태 위반 및 PCIe 버스 오류 해독
DCGM 및 PCIe AER 진단 오류 디코더
원시 진단 로그에서 하드웨어 저하, 링크 재훈련 루프, 열 스로틀링 이벤트를 정확히 짚어냅니다.
DCGM 및 PCIe AER 진단 오류 디코더 열기 - 직접적인 컴퓨팅 용량 손실 및 엔지니어 시간 모델링
GPU 다운시간 비용 계산기
사용자 입력을 바탕으로 GPU 시간, 인프라 비용, 인건비, 월간 노출 위험 및 시나리오 기반 복구 가능 비중을 계산합니다.
GPU 다운시간 비용 계산기 열기 - 분산 학습을 위한 프로덕션 sbatch 스크립트 생성
Slurm 멀티노드 GPU 배치 스크립트 생성기
노드당 올바른 GPU 수, 태스크당 CPU, 마스터 포트, NCCL 패브릭 플래그를 사용하여 PyTorch FSDP, DeepSpeed, Megatron 분산 작업을 구성합니다.
Slurm 멀티노드 GPU 배치 스크립트 생성기 열기 - 0단계 진입 전에 패브릭 설정 오류 사전 차단
NCCL 토폴로지 린터
nvidia-smi topo -m과 NCCL 환경 변수를 입력하세요. GPU-NIC 친화성, PCIe ACS, memlock 제한을 검사하여 처리량을 떨어뜨리거나 작업을 중단시키는 요인을 찾습니다.
NCCL 토폴로지 린터 열기 - 마지막 성공 실행 이후 변경된 항목 탐색
크로스 런 환경 차이(Diff) 분석
정상 실행과 실패 아티팩트를 비교합니다. 드라이버, CUDA, NCCL, PyTorch/JAX, pip 패키지 및 NCCL 환경 변수를 비교하여 장애 원인을 역추적합니다.
크로스 런 환경 차이(Diff) 분석 열기 - 환경 변수 설정으로 인한 시간 낭비 방지
NCCL 환경 변수 생성기
상호 연결 구조와 작업 형태를 입력하면 각 변수에 대한 설명과 함께 리뷰에서 입증 가능한 최적의 NCCL 및 PyTorch 환경 설정을 제공합니다.
NCCL 환경 변수 생성기 열기 - InfiniBand, RoCE v2 및 AWS EFA용 NCCL 플래그 극대화
NCCL 튜닝 가이드 및 플래그 최적화 도구
NCCL_NET_GDR_LEVEL, NCCL_BUFFSIZE, NCCL_CROSS_NIC 및 트리 대 링 집합 통신 알고리즘을 조정하여 분산 학습 대역폭을 최대화합니다.
NCCL 튜닝 가이드 및 플래그 최적화 도구 열기 - 벤더 데이터시트에서 제공하지 않는 실무 장애 데이터
GPU 신뢰성 지수
Denpex 인시던트 코퍼스에서 도출된 H100, A100, H200 실패 모드와 비율을 제공하여 벤더 카탈로그 외의 객관적 근거로 하드웨어 결정을 내릴 수 있게 돕습니다.
GPU 신뢰성 지수 열기 - signal: Bus error로 인한 DataLoader 워커 강제 종료 해결
PyTorch DataLoader /dev/shm 및 버스 오류 사이저
멀티 워커 PyTorch DataLoader용 Linux 공유 메모리(/dev/shm)를 사이징합니다. 정확한 Docker --shm-size 및 Kubernetes emptyDir RAM 설정을 제공합니다.
PyTorch DataLoader /dev/shm 및 버스 오류 사이저 열기 - capabilities: [[gpu]] 선택 불가 오류 해결
NVIDIA 컨테이너 툴킷 및 드라이버 수정
컨테이너화된 워크로드에서 발생하는 Docker CDI, nvidia-container-cli 및 드라이버 버전 불일치 오류에 대한 단계별 해결책을 제공합니다.
NVIDIA 컨테이너 툴킷 및 드라이버 수정 열기 - libcudart.so 및 연산 능력(Compute Capability) 로딩 오류 해결
bitsandbytes CUDA 설치 실패 수정
GPU가 감지되었음에도 발생하는 CUDA Setup failed, 누락된 공유 라이브러리, 4비트 및 8비트 양자화 시의 호환성 문제를 해결합니다.
bitsandbytes CUDA 설치 실패 수정 열기 - 인덱싱된 텐서와 동일한 장치 또는 CPU 배치 문제 해결
PyTorch 인덱스 장치 불일치 수정
CPU와 서로 다른 CUDA 랭크 간에 텐서가 분산될 때 발생하는 임베딩 조회, 마스킹 작업 및 텐서 인덱싱 오류를 식별하고 수정합니다.
PyTorch 인덱스 장치 불일치 수정 열기 - 폐쇄망(Airgapped) 클러스터 내부의 프라이빗 인시던트 감사
로컬 플릿 진단 CLI
데이터 전송 없이 단일 및 멀티노드 클러스터를 로컬에서 검사합니다. 하드웨어 카운터, 패브릭 드롭 및 시스템 저널을 평가합니다.
로컬 플릿 진단 CLI 열기