TWCC 台灣杉 · Ubilink 友崴超算 · 台灣與香港叢集適用
GPU 叢集故障診斷、LLM 顯存試算與 NCCL / Xid 根因定位
協助台灣與香港 AI 研發與基礎設施團隊在無需上傳機敏日誌的前提下,於瀏覽器精準區分 CUDA OOM、NCCL 逾時、Xid 79 掉卡與 vLLM KV 快取耗盡。
常見故障特徵與優先排查矩陣
| 日誌特徵 | 故障類別 | 原因說明 | 優先排查方向 | 檢視 |
|---|---|---|---|---|
| NVRM: Xid 79 / GPU has fallen off the bus | 硬體與 PCIe | TWCC 與 Ubilink 叢集常見之單卡掉線、NVLink 異常或驅動版本衝突。 | 前往繁體中文 Xid 故障中心並使用本地診斷保存報修證據。 | 開啟 Xid 中心 |
| WorkNCCL collective operation timeout / ibv_poll_cq error 12 | 多節點通訊 | InfiniBand 鏈路閃斷、RoCE 設定錯誤或單節點 cgroup OOM 造成訓練卡死。 | 前往繁體中文 NCCL 診斷中心分離首個發病 Rank。 | 開啟 NCCL 中心 |
| vLLM KV Cache OOM / EngineCore died / DeepSeek · GLM · Qwen | 大模型推論 | 推論服務 KV 快取不足、EngineCore 中止及 TensorRT-LLM / SGLang 記憶體超限。 | 使用繁體中文 vLLM 診斷中心與免費顯存計算機。 | 開啟 vLLM 中心 |
重啟任務前務必先保留的診斷輸出
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1台灣、港澳與全球 GPU 叢集故障排查
免上傳瀏覽器端免費 GPU 工具
常見問題
這套工具會在不外傳企業日誌的情況下運作嗎?
是的。/tools/gpu-log-analyzer 與 VS Code / Open VSX 擴充套件皆可完全在本地瀏覽器或本機端離線解析日誌。
是否支援 TWCC、Ubilink 等台灣與香港的大型 H100 超算環境?
支援。內建 Slurm、InfiniBand mlx5、NCCL_DEBUG 與 NVRM Xid 完整對照規則與報修證據整理。
$0 免費帳號與 30 天 Team 團隊評估 (免信用卡 · 支援統編/發票)
個人或團隊信箱皆可立即建立 $0 免費帳號。透過 Stripe 結帳時可自動填寫公司統一編號 / 稅籍編號與帳單地址,亦支援申請年度企業正式發票與銀行電匯付款。