Skip to content
分散式通訊 / 次要連鎖症狀

NCCL Watchdog 逾時排查與根因節點隔離

印出 WorkNCCL 逾時的節點多半只是還在苦等的「受害者」,真正肇因通常是早幾分鐘就停擺、OOM 或掉卡的另一個同伴 Rank。

典型日誌特徵

[E ProcessGroupNCCL.cpp:563] [Rank 0] Watchdog caught collective operation timeout: WorkNCCL(SeqNum=41208, OpType=ALLREDUCE, NumelIn=67108864) ran for 600000 ms

根本原因與連鎖症狀辨析

當單一節點出現 CUDA OOM、主機 OOM-killer (SIGKILL)、Xid 79 掉卡或 DataLoader 卡住時,其餘節點會在 `ALLREDUCE` 等集體操作停滯直到看門狗觸發。

重開機前務必先保存的取證指令

export NCCL_DEBUG=INFO
export TORCH_NCCL_ASYNC_ERROR_HANDLING=1
export TORCH_NCCL_TRACE_BUFFER_SIZE=2000
export TORCH_NCCL_DUMP_ON_TIMEOUT=1
dmesg -T | grep -i -E "nvrm|xid|mlx5|oom|pcie"

安全排查與修復步驟

  1. 統一對齊時區後,依序檢查全部 Rank 最早發生的例外、SIGKILL 或核心 dmesg 記錄。
  2. 核對 `WorkNCCL(SeqNum=...)` 編號,鎖定全體節點一起停住的集合通訊步驟。
  3. 先區分實體鏈路錯誤(如 `ibv_poll_cq error 12`)與軟體/主機負載問題再執行恢復。
免註冊即時診斷

貼上您的 GPU 日誌,立即排查首發故障

送出前會在瀏覽器本機自動遮罩 IP、金鑰與私有路徑,精準鎖定根因。

上傳前請先檢視 雲端資料處理說明與完全本機離線選項。

training_logs.txt
手邊沒有日誌?點此載入範例:

大型日誌檔會在您的瀏覽器本機端先濃縮擷取,執行診斷時僅送出關鍵證據片段。

每日 3 次免費雲端診斷額度

常見問題

只要把 NCCL 逾時時間加長就能解決問題嗎?

無法。拉長逾時只會讓整批 GPU 多空等幾十分鐘,應搭配 `TORCH_NCCL_DUMP_ON_TIMEOUT=1` 保留飛行紀錄揪出故障卡。

日誌最先印出 Rank 0 逾時,就表示 Rank 0 壞了嗎?

通常剛好相反,Rank 0 只是等待其他未回應節點到時後印出訊息的那一方。

相關繁體中文 GPU 排錯指南

英文完整知識庫條目:檢視完整英文參考 (English)

免費試用 Denpex 30 天。完全免費。

無需信用卡,無自動續訂。使用團隊已結案的故障日誌親自驗證診斷精準度。

開啟 30 天免費 Team 團隊評估

30 天內每日最多 50 次診斷。驗證企業工作信箱即可啟用試用,重現已解決的歷史故障並將根因證據與團隊確認結論比對。

請使用公司網域信箱,例如 alex@yourcompany.com。

適用資格說明

通過信箱與企業網域驗證即可啟用 30 天 Team 評估(每日最多 50 次診斷)。若網域無法自動驗證,可聯繫 support@denpex.com 人工審核。編輯器擴充套件的本機離線診斷無需帳號。

使用個人信箱(Gmail、Outlook、Yahoo)或個人叢集?建立 $0 免費帳號(不需工作信箱) 以保存 7 天紀錄並啟用 AI 診斷,或傳送叢集故障日誌預約展示。