InfiniBand / RoCE v2 / Slurm 多節點排錯
NCCL Watchdog 逾時、InfiniBand 閃斷與首發故障節點隔離
從數十張卡同時出現的 WorkNCCL AllReduce 逾時中分離真正先崩潰的節點、mlx5 error 12 網卡重試超時、VPC MTU 誤差與主機端 cgroup OOM。
常見故障特徵與優先排查矩陣
| 日誌特徵 | 故障類別 | 原因說明 | 優先排查方向 | 檢視 |
|---|---|---|---|---|
| Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE) | 次要連鎖逾時 | 存活的 GPU Rank 等待已崩潰或阻塞的同儕節點,導致集體通訊看門狗觸發。 | 先比對各節點 WorkNCCL SeqNum 與最早異常,找出真正發病的 Rank。 | 檢視詳情 |
| Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded) | InfiniBand 鏈路 | Ubilink 友崴超算或 TWCC 台灣杉節點中的 mlx5 網卡埠口或光模組發生 RDMA 傳輸超時。 | 記錄主機名稱與 mlx5 埠口編號,避免對健康節點進行無效重啟。 | 叢集排查 |
| NVRM Xid 79 / Slurm JOB CANCELLED ON NODE | 超算排程與掉卡 | 單節點 GPU 掉卡或 Slurm 主機 cgroup OOM 連帶造成整個分散式工作取消。 | 對照 TWCC 台灣杉超算故障日誌分析流程保存證據。 | 檢視步驟 |
重啟任務前務必先保留的診斷輸出
dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1台灣、港澳與全球 GPU 叢集故障排查
免上傳瀏覽器端免費 GPU 工具
常見問題
最先印出 Watchdog timeout 的 Rank 0 就是故障來源嗎?
通常不是。Rank 0 往往是持續等待失聯節點直到看門狗到期的受害者,必須比對全體 Rank 的 SeqNum 與先發異常。
在 Ubilink 或 TWCC 上遇到 ibv_poll_cq error 12 代表什麼?
代表特定主機的 InfiniBand mlx5 埠口或光收發模組出現物理鏈路重試超時,應記錄主機與埠號直接向超算維運報修。
$0 免費帳號與 30 天 Team 團隊評估 (免信用卡 · 支援統編/發票)
個人或團隊信箱皆可立即建立 $0 免費帳號。透過 Stripe 結帳時可自動填寫公司統一編號 / 稅籍編號與帳單地址,亦支援申請年度企業正式發票與銀行電匯付款。