PFC 看門狗 · RoCEv2 · 無損

PFC 死鎖檢測與恢復

PFC 死結是唯一能讓無損網狀架構無限期停擺的故障:一種循環緩衝區相依關係,其中被暫停的優先權佇列彼此互相等待。 OcNOS-DC 看門狗以逐連接埠、逐優先權方式運作。它在 Broadcom Tomahawk 4 與 Tomahawk 5 上偵測被暫停佇列的循環,並在工作停擺前自動排空佇列。

Per-port以及逐優先權看門狗
Sub-second偵測、排空、復原
TH4 & TH5Broadcom Tomahawk 平台
預設啟用OcNOS-DC 無損範本
死結的樣貌

三台交換器的暫停循環

三台交換器處於循環相依關係。每台都在其無損優先權佇列上被暫停,等待下一台交換器排空。若無介入,此循環將永久穩定存在。OcNOS 看門狗在設定的逾時後觸發,排空 Switch-A 上的佇列 3,循環隨即瓦解。

PFC 死鎖環路與看門狗恢復 Three switches arranged in a triangle. Pause arrows point clockwise from each switch to the next, indicating each switch is paused waiting for the downstream switch. A watchdog icon at Switch-A shows the OcNOS deadlock timer firing to drain the queue and break the cycle. PFC 暫停(CoS 3) PFC 暫停 PFC 暫停 WD 看門狗觸發 清空隊列 3 Switch-A暫停於 Q3等待 B Switch-B暫停於 Q3等待 C Switch-C暫停於 Q3等待 A PFC DEADLOCK · WATCHDOG TIMEOUT · QUEUE DRAIN · AUTO-RECOVERY
它如何形成

PFC 如何造成死鎖

PFC 使 RoCEv2 達到無損,在行為良好的拓撲上它從不惹麻煩。此故障模式僅在多路徑網狀架構上形成被暫停佇列的封閉循環時才會出現。

PFC 是一種逐 hop 的暫停機制:當交換器的無損入口佇列填滿超過門檻時,會向其上游發出暫停訊號,上游便停止傳送。在單一流向的樹狀拓撲上,這是安全的。在具備多條路徑的 leaf-spine 網狀架構上,繞過鏈路故障的 ECMP 重新路由在特定條件下,可能形成一條每台交換器都被暫停、等待下一台的循環路徑。這種循環緩衝區相依關係,也就是被暫停的優先權佇列彼此互相等待,正是 PFC 死結。

一旦循環形成便會穩定:有足夠的緩衝區容納被暫停的訊框,路由協定認為一切皆已收斂,而 PFC 則在每台交換器上持續重新發出暫停。若無介入,受影響的無損優先權將無限期停擺。 RoCEv2 流量停止,xCCL(RCCL、oneCCL)集合通訊逾時,訓練工作隨之停滯。

運作機制

OcNOS-DC 看門狗

一個逐連接埠、逐優先權的計時器,用於偵測被暫停佇列的循環,並在工作停擺前排空受影響的佇列,隨後自行復原正常的 PFC。偵測、復原與還原是核心三要素;遙測、調校與授權則使其更臻完整。

Detection

每埠、每優先級定時器

計時器針對每個入口連接埠與每個無損優先權執行。若該優先權連續被暫停達設定的間隔(通常為 100 至 400 ms),看門狗便會觸發。

Recovery

自動隊列排空

看門狗觸發時,受影響的 ingress 隊列被排空:短暫丟棄幀以打破循環。被丟棄的幀會觸發 xCCL 集體通信重傳,而替代方案則是無限期掛起。

Restoration

恢復後自動還原

在所配置的恢復間隔之後,受影響優先級上的正常 PFC 操作即會恢復。無需維運人員介入;fabric 會在數秒內恢復無損狀態。

遙測

gNMI 計數器

看門狗觸發事件、排空時長和按優先級的 pause 計數器通過 gNMI 上報,用於閉環網路監控。SRE 可將死鎖事件視為告警,而非無聲的訓練停滯。

Tunable

電信業者可配置的定時器

檢測超時、排空時長和恢復間隔均可通過 CLI 按埠、按優先級配置。預設值適用於大多數網路;維運人員可在高風險叢集上縮短這些計時器。

適用範圍

DC-PLUS 許可層級

作為 OcNOS-DC PLUS SKU 的一部分,與其餘無損 RoCEv2 協議棧一同提供。已在 Broadcom Tomahawk 4 和 Tomahawk 5 平台上驗證。

周邊堆疊

看門狗是無損堆疊其餘部分底下的安全網

最好的死結是從未形成的死結。壅塞控制、其所保護的無損傳輸,以及自適應路由,首先都會讓佇列遠離暫停門檻;而當它們未能做到時,看門狗便是最後一道防線。

壅塞控制

DCQCN 在入口佇列填滿至 PFC 門檻之前,以 ECN 標記並調節流量,因此暫停被觸發的頻率大幅降低,循環也鮮少有機會封閉。

無損傳輸

RoCEv2 是 PFC 存在所要保護的 RDMA 傳輸。看門狗使得大規模無損運行 RoCEv2 變得安全,而非僅在理論上具有風險。

自適應路由

DLB 在次毫秒的時間窗內,將 flowlet 重新綁定至遠離壅塞上行鏈路,分散負載,使入口佇列較不易達到觸發暫停的門檻。

您何時會看見它觸發

罕見並不代表永不發生,而這正是重點所在

在具備適當拓撲與路由、設計良好的網狀架構中,PFC 死結相當罕見,多數維運人員在多年運行中從未遇過。看門狗之所以重要,是因為觸發條件仍可能出現,而一旦發生,其差別將以數小時計。

什麼會觸發它

路由收斂期間的鏈路故障、單一連接埠上 PFC 優先權的錯誤設定,或異常流量模式下的瞬態壅塞事件,都可能造成這些條件。

沒有看門狗

一旦死結形成,AI 叢集便會停止,維運團隊將面臨數小時的除錯,追查一個路由協定回報為健康的停擺問題。

有了看門狗

您得到的是一次短暫的重傳突發與一筆記錄事件,而非停滯的工作。透過 AI Fabric Sizing Tool 規劃能讓死結維持罕見的拓撲與交換器層級。

結論

看門狗為何能讓 PFC 安全地大規模部署

它將對無損乙太網路的唯一理論性質疑,轉化為一筆可記錄、能自行清除的事件,且您現有的可觀測性堆疊已能看見。

  • 無損安全網。 watchdog 正是區分"PFC 在生產級 AI fabric 上理論上存在風險"與"PFC 可大規模安全部署"的關鍵所在。
  • 亞秒級恢復。 偵測、排空與復原通常在一秒內完成。xCCL 重傳一小段時間窗的 RDMA 流量;工作隨即繼續。
  • 標準配置。 看門狗在 OcNOS-DC 無損範本中預設啟用。您無需記得將其開啟。
  • Observable. 每次觸發都會被記錄、計數並透過 gNMI 串流,以便與您現有的可觀測性堆疊進行閉迴路監控。
  • 可按風險等級調優。 在關鍵訓練叢集上調低計時器;一般資料中心網狀架構使用預設值即可。請見 功能矩陣中的 PFC and the 已驗證硬體清單.
常見問題

PFC 死結,完整解答

PFC死結的成因是什麼?
PFC 是一種逐 hop 的暫停機制。在多路徑網狀架構上,繞過鏈路故障的 ECMP 重新路由在特定條件下,可能形成一條每台交換器都被暫停、等待下一台的循環路徑。這種循環緩衝區相依關係相當穩定,無損優先權將持續停擺,直到有機制打破它為止。
OcNOS的PFC監控程式如何恢復fabric?
若某個lossless優先權在所設定的時間間隔(通常為100至400 ms)內持續處於暫停狀態,便會觸發依連接埠、依優先權的計時器。watchdog會排空受影響的佇列以打破該循環,隨後在恢復間隔結束後自動恢復正常PFC,無需維運人員介入。
watchdog 是否會丟棄流量?
會,但很短暫。排空佇列會丟棄一小段訊框視窗,從而觸發 xCCL 集合運算重傳。替代方案是無限期停頓,因此這項取捨是以不到一秒的重傳突發換取避免訓練作業停滯。
PFC 死結看門狗是否預設啟用?
是的。看門狗在 OcNOS-DC 無損範本中預設啟用,並提供可透過 CLI 調校的偵測、排空與復原計時器。它是 Broadcom Tomahawk 4 與 Tomahawk 5 平台上 OcNOS-DC PLUS SKU 的一部分。

正在新網狀架構上驗證無損行為?從看門狗開始

告訴我們工作負載與 GPU 規模,IP Infusion 工程師將與您一同檢視您的無損設計;或先透過 AI Fabric Design Suite 取得初步的 leaf-spine 佈局。