Skip to content

TWCC 台灣杉 · Ubilink 友崴超算 · 台灣與香港叢集適用

GPU 叢集故障診斷、LLM 顯存試算與 NCCL / Xid 根因定位

協助台灣與香港 AI 研發與基礎設施團隊在無需上傳機敏日誌的前提下,於瀏覽器精準區分 CUDA OOM、NCCL 逾時、Xid 79 掉卡與 vLLM KV 快取耗盡。

常見故障特徵與優先排查矩陣

日誌特徵故障類別原因說明優先排查方向檢視
NVRM: Xid 79 / GPU has fallen off the bus硬體與 PCIeTWCC 與 Ubilink 叢集常見之單卡掉線、NVLink 異常或驅動版本衝突。前往繁體中文 Xid 故障中心並使用本地診斷保存報修證據。開啟 Xid 中心
WorkNCCL collective operation timeout / ibv_poll_cq error 12多節點通訊InfiniBand 鏈路閃斷、RoCE 設定錯誤或單節點 cgroup OOM 造成訓練卡死。前往繁體中文 NCCL 診斷中心分離首個發病 Rank。開啟 NCCL 中心
vLLM KV Cache OOM / EngineCore died / DeepSeek · GLM · Qwen大模型推論推論服務 KV 快取不足、EngineCore 中止及 TensorRT-LLM / SGLang 記憶體超限。使用繁體中文 vLLM 診斷中心與免費顯存計算機。開啟 vLLM 中心

重啟任務前務必先保留的診斷輸出

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

台灣、港澳與全球 GPU 叢集故障排查

免上傳瀏覽器端免費 GPU 工具

常見問題

這套工具會在不外傳企業日誌的情況下運作嗎?

是的。/tools/gpu-log-analyzer 與 VS Code / Open VSX 擴充套件皆可完全在本地瀏覽器或本機端離線解析日誌。

是否支援 TWCC、Ubilink 等台灣與香港的大型 H100 超算環境?

支援。內建 Slurm、InfiniBand mlx5、NCCL_DEBUG 與 NVRM Xid 完整對照規則與報修證據整理。

$0 免費帳號與 30 天 Team 團隊評估 (免信用卡 · 支援統編/發票)

個人或團隊信箱皆可立即建立 $0 免費帳號。透過 Stripe 結帳時可自動填寫公司統一編號 / 稅籍編號與帳單地址,亦支援申請年度企業正式發票與銀行電匯付款。