Skip to content
RAM do sistema / cgroup OOM

OOM-killer na RAM do servidor (SIGKILL / exit 137)

O recurso esgotado não foi a VRAM da GPU, mas a memória RAM física do host ou cota cgroup, levando o kernel Linux a enviar `SIGKILL`.

Assinatura típica no log

torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kB

Causa raiz e diferenciação de cascatas

Excesso de workers no `DataLoader` inflando cópia na RAM, todos os ranks carregando checkpoints em CPU ao mesmo tempo ou uso excessivo de `pin_memory`.

Comandos de evidência antes de reiniciar

dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMem

Passos seguros de triagem e correção

  1. Comprovar com `dmesg -T | grep -i oom-kill` e `sacct` MaxRSS que o teto de RAM CPU foi atingido.
  2. Carregar pesos apenas no Rank 0 e fazer broadcast ou leitura por shards diretos.
  3. Reduzir `num_workers`, `prefetch_factor` ou ampliar o limite de memória do container/job.
Diagnóstico ao vivo sem cadastro

Analise seu log de GPU grátis para achar o primeiro erro

Endereços IP, chaves e caminhos locais são mascarados no seu navegador.

Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.

training_logs.txt
Não tem um log à mão? Escolha um exemplo:

Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.

3 diagnósticos em nuvem grátis por dia

Perguntas frequentes

Por que recebo exit 137 com metade da VRAM sobrando?

O código 137 (128+9) representa um `SIGKILL` emitido pelo kernel Linux ao faltar RAM no host ou cgroup.

Isso faz outros nós acusarem timeout NCCL?

Sim. Quando um nó morre subitamente, os sobreviventes travam no AllReduce até atingir o watchdog NCCL.

Outros guias de falhas GPU em português

Documentação técnica completa em inglês:Abrir referência completa em inglês

Experimente o Denpex por 30 dias. GRÁTIS.

Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.

Inicie sua avaliação Team gratuita de 30 dias

Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.

Use seu e-mail da empresa, por exemplo alex@suaempresa.com.

Quem é elegível?

Domínios corporativos ativam a avaliação gratuita de 30 dias após a verificação do e-mail e domínio. Se a validação automática falhar, fale com support@denpex.com. O diagnóstico local na extensão do editor dispensa conta.

Usando e-mail pessoal (Gmail, Outlook) ou cluster solo? Criar conta gratuita de $0 (não exige e-mail corporativo) para salvar histórico de 7 dias, ou envie um log de falha para demonstração ao vivo.