Skip to content

InfiniBand / RoCE v2 / Slurm 多節點排錯

NCCL Watchdog 逾時、InfiniBand 閃斷與首發故障節點隔離

從數十張卡同時出現的 WorkNCCL AllReduce 逾時中分離真正先崩潰的節點、mlx5 error 12 網卡重試超時、VPC MTU 誤差與主機端 cgroup OOM。

常見故障特徵與優先排查矩陣

日誌特徵故障類別原因說明優先排查方向檢視
Watchdog caught collective operation timeout: WorkNCCL(ALLREDUCE)次要連鎖逾時存活的 GPU Rank 等待已崩潰或阻塞的同儕節點,導致集體通訊看門狗觸發。先比對各節點 WorkNCCL SeqNum 與最早異常,找出真正發病的 Rank。檢視詳情
Call to ibv_poll_cq returned error 12 (Transport retry counter exceeded)InfiniBand 鏈路Ubilink 友崴超算或 TWCC 台灣杉節點中的 mlx5 網卡埠口或光模組發生 RDMA 傳輸超時。記錄主機名稱與 mlx5 埠口編號,避免對健康節點進行無效重啟。叢集排查
NVRM Xid 79 / Slurm JOB CANCELLED ON NODE超算排程與掉卡單節點 GPU 掉卡或 Slurm 主機 cgroup OOM 連帶造成整個分散式工作取消。對照 TWCC 台灣杉超算故障日誌分析流程保存證據。檢視步驟

重啟任務前務必先保留的診斷輸出

dmesg -T | rg -i 'nvrm|xid|mlx5|oom|pcie'
nvidia-smi --query-gpu=index,uuid,pci.bus_id,temperature.gpu,ecc.errors.uncorrected.aggregate.total --format=csv
export NCCL_DEBUG=INFO TORCH_NCCL_TRACE_BUFFER_SIZE=2000 TORCH_NCCL_DUMP_ON_TIMEOUT=1

台灣、港澳與全球 GPU 叢集故障排查

免上傳瀏覽器端免費 GPU 工具

常見問題

最先印出 Watchdog timeout 的 Rank 0 就是故障來源嗎?

通常不是。Rank 0 往往是持續等待失聯節點直到看門狗到期的受害者,必須比對全體 Rank 的 SeqNum 與先發異常。

在 Ubilink 或 TWCC 上遇到 ibv_poll_cq error 12 代表什麼?

代表特定主機的 InfiniBand mlx5 埠口或光收發模組出現物理鏈路重試超時,應記錄主機與埠號直接向超算維運報修。

$0 免費帳號與 30 天 Team 團隊評估 (免信用卡 · 支援統編/發票)

個人或團隊信箱皆可立即建立 $0 免費帳號。透過 Stripe 結帳時可自動填寫公司統一編號 / 稅籍編號與帳單地址,亦支援申請年度企業正式發票與銀行電匯付款。