Skip to content
主机 RAM / cgroup OOM

宿主机内存 OOM-killer (SIGKILL / exit 137) 诊断

问题不在显卡显存而在宿主机系统内存:物理 RAM 或容器 cgroup 内存达到硬上限,Linux 内核直接向 Python 进程发送了 `SIGKILL`。

典型日志特征

torch.distributed.elastic.agent.server.api: Signal 9 (SIGKILL) / kernel: Out of memory: Killed process 48192 (python3) total-vm:148204100kB

根本原因与次生级联症状辨析

`DataLoader` 多 `num_workers` 产生写时复制膨胀、所有 Rank 同时全量反序列化大模型权重、或固定内存 `pin_memory` 分配过大。

重启节点前先收集的取证命令

dmesg -T | grep -i -E "oom-kill|killed process|out of memory"
free -h && cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.max 2>/dev/null
sacct -j <JOB_ID> --format=JobID,State,ExitCode,MaxRSS,ReqMem

安全排查与恢复步骤

  1. 检索 `dmesg -T | grep -i oom-kill` 与调度器 MaxRSS 指标,确认是内核级宿主内存超限。
  2. 改造加载逻辑避免每个 Rank 各自在 CPU 内存重复展开完整模型权重。
  3. 下调 `num_workers`、`prefetch_factor` 并适当提高容器或 Slurm 作业内存配额。
Live diagnosis, no signup

粘贴你的 GPU 日志,立即排查首发故障

提交前会在当前浏览器本地自动遮罩 IP、密钥和私有路径,安全分离根因。

Before uploading, review cloud data handling and local options.

training_logs.txt
No log to hand? Try one:

Upload your log file. Large files are processed in your browser. Only selected evidence is submitted when you run diagnosis.

3 free cloud diagnoses per day

常见问题

显卡显存只用了一半为什么进程还是被 exit 137 杀掉?

exit 137 来自内核发送的 `SIGKILL (128+9)`,说明是主机系统内存或容器 cgroup 内存超标。

一个节点被 OOM 杀死会导致全集群报 NCCL 超时吗?

是的。该节点瞬间消失后,其余正常节点继续等待其 AllReduce 响应直至看门狗超时。

相关简体中文 GPU 排障条目

英文完整百科档案:查看完整英文参考 (English)

免费试用 Denpex 30 天。完全免费。

无需信用卡,无自动续费。使用团队已复盘的故障日志亲自验证诊断效果。

开启 30 天免费 Team 团队评估

30 天内每日最多 50 次诊断。验证企业工作邮箱即可激活试用,回放已解决的历史故障并将根因证据与团队确认结论对比。

请使用公司域名邮箱,例如 alex@yourcompany.com。

适用条件说明

通过邮箱与企业域名校验即可激活 30 天 Team 评估(每日最多 50 次诊断)。若域名未能自动通过,可联系 support@denpex.com 人工审核。编辑器扩展的纯本地离线诊断无需任何账号。

正在使用个人邮箱(Gmail、QQ、163、Outlook)或个人主机?创建 $0 免费账号(无需工作邮箱) 以保存 7 天诊断记录并解锁 AI 推理,或发送集群故障日志预约演示。