OOM-killer na RAM do servidor (SIGKILL / exit 137)
O recurso esgotado não foi a VRAM da GPU, mas a memória RAM física do host ou cota cgroup, levando o kernel Linux a enviar `SIGKILL`.
Assinatura típica no log
torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kBCausa raiz e diferenciação de cascatas
Excesso de workers no `DataLoader` inflando cópia na RAM, todos os ranks carregando checkpoints em CPU ao mesmo tempo ou uso excessivo de `pin_memory`.
Comandos de evidência antes de reiniciar
dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMemPassos seguros de triagem e correção
- Comprovar com `dmesg -T | grep -i oom-kill` e `sacct` MaxRSS que o teto de RAM CPU foi atingido.
- Carregar pesos apenas no Rank 0 e fazer broadcast ou leitura por shards diretos.
- Reduzir `num_workers`, `prefetch_factor` ou ampliar o limite de memória do container/job.
Analise seu log de GPU grátis para achar o primeiro erro
Endereços IP, chaves e caminhos locais são mascarados no seu navegador.
Antes de enviar, confira tratamento de dados em nuvem e opções locais offline.
Arquivos grandes são compactados no navegador. Apenas as evidências selecionadas são enviadas ao diagnóstico.
Perguntas frequentes
Por que recebo exit 137 com metade da VRAM sobrando?
O código 137 (128+9) representa um `SIGKILL` emitido pelo kernel Linux ao faltar RAM no host ou cgroup.
Isso faz outros nós acusarem timeout NCCL?
Sim. Quando um nó morre subitamente, os sobreviventes travam no AllReduce até atingir o watchdog NCCL.
Outros guias de falhas GPU em português
Experimente o Denpex por 30 dias. GRÁTIS.
Sem cartão de crédito. Sem assinatura automática. Veja se o Denpex ajuda em um incidente que você já conhece.
Inicie sua avaliação Team gratuita de 30 dias
Até 50 diagnósticos por dia durante 30 dias. Verifique seu e-mail corporativo para ativar uma avaliação elegível, reproduza um incidente já resolvido e compare as evidências com a causa confirmada pela sua equipe.