Skip to content

新加坡 · 亚太及全球中文 AI 集群工程中心

GPU 集群故障诊断、LLM 显存计算与 NCCL / Xid 根因定位

专为新加坡、亚太及海外中文 AI 团队打造。无需上传敏感训练日志,在浏览器本地直接分析 CUDA OOM、NCCL 超时、Xid 掉卡与 vLLM / TensorRT-LLM / SGLang 显存异常。

常见故障特征与优先排查矩阵

日志特征故障分类问题说明优先排查建议查看
NVRM: Xid 79 / GPU has fallen off the bus硬件掉卡与驱动H100/H200/B200 集群常见的 PCIe 掉卡、NVLink Xid 74 与 580 驱动版本不一致。打开简体中文 Xid 故障中心,在本地安全保存 RMA 与硬件证据。进入 Xid 中心
WorkNCCL collective timeout / ibv_poll_cq error 12多机分布式通信新加坡及全球算力集群训练时的 InfiniBand NDR 丢包、RoCE 超时与慢节点级联卡死。打开简体中文 NCCL 故障中心定位最先失败的 Rank 与端口。进入 NCCL 中心
vLLM KV Cache OOM / EngineCore died / DeepSeek V4 · Qwen 3.5大模型推理与 RLvLLM、SGLang、TensorRT-LLM 显存分配失败与 GRPO 后训练内存不足。进入简体中文 vLLM 中心与免费大模型显存计算器快速估算。进入 vLLM 中心

重启集群前务必先收集的原始现场证据

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

新加坡、亚太及全球 GPU 集群排查指引

浏览器本地免费 GPU 工具与手册

常见问题解答

公司核心训练与推理日志需要上传到云端吗?

不需要。/tools/gpu-log-analyzer 与 VS Code / Open VSX 扩展均支持纯本地离线解析,日志不会离开工程师浏览器或本地工作站。

支持新加坡、欧洲及北美主流 H100/H200/B200 云集群吗?

支持。针对 SMC 新加坡、Nebius、CoreWeave、Hyperstack、RunPod 等主流多机集群的 InfiniBand 与 Slurm 日志均已内建规则。

$0 免费账号与 30 天 Team 评估 (无需信用卡 · 支持公司税号与发票)

任何个人邮箱均可创建 $0 免费账号并在浏览器或 VS Code 本地使用。企业订阅支持全球公司卡及 Stripe GST/VAT/企业税号账单字段,同时支持年度对公发票与电汇开通。