Para Engenheiros de ML, MLOps e infraestrutura em São Paulo, Brasil, Lisboa e América Latina
Separe CUDA OOM, falhas de link NCCL e quedas Xid 79 antes de reiniciar nós
Isole o primeiro rank que falhou em treinos DDP/FSDP e inferência vLLM usando apenas evidências citadas dos seus logs, sem misturar OOM de CPU com VRAM.
Avaliação Team de 30 dias. Sem cartão de crédito e sem cobrança automática.
Analisar log de cluster GPU em português
Cole um log mascarado de treino, dmesg ou NCCL_DEBUG=INFO para receber a causa raiz citada e a próxima verificação segura.
Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.
Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.
Experimente o Denpex por 30 dias. GRÁTIS.
Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.
Inicie sua avaliação Team gratuita de 30 dias
Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.
O que uma avaliação de 30 dias comprova
Laudo técnico objetivo para acionamento de suporte cloud ou ajuste de batch.
Denpex reporta apenas o que é diretamente citado no log enviado e destaca o que ainda exige confirmação extra.
Por dentro do Denpex
Veja a evidência citada no log, não apenas uma suposição
Acompanhe a cadeia causal, verifique as linhas originais citadas e prepare o repasse para o time de infraestrutura. Clique em qualquer captura para abrir em tamanho real.
Rastreie falhas em cascata até a origem

Prepare evidências para abertura de RMA

Indique claramente quais provas ainda faltam

Conclua a análise dentro do editor

Brasil e LATAM GPU H100 (NCCL / OOM) - (validação no log fornecido)
Padrão típico de incidente
Se um trabalho distribuído em várias GPUs para por timeout coletivo NCCL depois de um worker sofrer Xid 79 ou falta de RAM no DataLoader, identifique imediatamente o nó causador.
sp-h100-02:6420:6488 [3] misc/ibvwrap.cc:284 NCCL WARN Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded)
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 1.50 GiB.Flags recomendadas para capturar evidência completa
Configure estas variáveis de ambiente no container ou script de execução para isolar o rank inicial:
NCCL_DEBUG=INFOTORCH_NCCL_ASYNC_ERROR_HANDLING=1TORCH_NCCL_DUMP_ON_TIMEOUT=1CUDA_DEVICE_ORDER=PCI_BUS_IDLimites de escopo e privacidade
Denpex analisa apenas o texto de log fornecido pelo usuário, com mascaramento prévio no navegador e sem acesso a credenciais privadas.
Outros fluxos por provedor GPU
Compare padrões de falha em redes InfiniBand, RoCEv2, Kubernetes e bare-metal.