PFC 死鎖檢測與恢復
PFC 死結是唯一能讓無損網狀架構無限期停擺的故障:一種循環緩衝區相依關係,其中被暫停的優先權佇列彼此互相等待。 OcNOS-DC 看門狗以逐連接埠、逐優先權方式運作。它在 Broadcom Tomahawk 4 與 Tomahawk 5 上偵測被暫停佇列的循環,並在工作停擺前自動排空佇列。
三台交換器的暫停循環
三台交換器處於循環相依關係。每台都在其無損優先權佇列上被暫停,等待下一台交換器排空。若無介入,此循環將永久穩定存在。OcNOS 看門狗在設定的逾時後觸發,排空 Switch-A 上的佇列 3,循環隨即瓦解。
PFC 如何造成死鎖
PFC 使 RoCEv2 達到無損,在行為良好的拓撲上它從不惹麻煩。此故障模式僅在多路徑網狀架構上形成被暫停佇列的封閉循環時才會出現。
PFC 是一種逐 hop 的暫停機制:當交換器的無損入口佇列填滿超過門檻時,會向其上游發出暫停訊號,上游便停止傳送。在單一流向的樹狀拓撲上,這是安全的。在具備多條路徑的 leaf-spine 網狀架構上,繞過鏈路故障的 ECMP 重新路由在特定條件下,可能形成一條每台交換器都被暫停、等待下一台的循環路徑。這種循環緩衝區相依關係,也就是被暫停的優先權佇列彼此互相等待,正是 PFC 死結。
一旦循環形成便會穩定:有足夠的緩衝區容納被暫停的訊框,路由協定認為一切皆已收斂,而 PFC 則在每台交換器上持續重新發出暫停。若無介入,受影響的無損優先權將無限期停擺。 RoCEv2 流量停止,xCCL(RCCL、oneCCL)集合通訊逾時,訓練工作隨之停滯。
OcNOS-DC 看門狗
一個逐連接埠、逐優先權的計時器,用於偵測被暫停佇列的循環,並在工作停擺前排空受影響的佇列,隨後自行復原正常的 PFC。偵測、復原與還原是核心三要素;遙測、調校與授權則使其更臻完整。
每埠、每優先級定時器
計時器針對每個入口連接埠與每個無損優先權執行。若該優先權連續被暫停達設定的間隔(通常為 100 至 400 ms),看門狗便會觸發。
自動隊列排空
看門狗觸發時,受影響的 ingress 隊列被排空:短暫丟棄幀以打破循環。被丟棄的幀會觸發 xCCL 集體通信重傳,而替代方案則是無限期掛起。
恢復後自動還原
在所配置的恢復間隔之後,受影響優先級上的正常 PFC 操作即會恢復。無需維運人員介入;fabric 會在數秒內恢復無損狀態。
gNMI 計數器
看門狗觸發事件、排空時長和按優先級的 pause 計數器通過 gNMI 上報,用於閉環網路監控。SRE 可將死鎖事件視為告警,而非無聲的訓練停滯。
電信業者可配置的定時器
檢測超時、排空時長和恢復間隔均可通過 CLI 按埠、按優先級配置。預設值適用於大多數網路;維運人員可在高風險叢集上縮短這些計時器。
DC-PLUS 許可層級
作為 OcNOS-DC PLUS SKU 的一部分,與其餘無損 RoCEv2 協議棧一同提供。已在 Broadcom Tomahawk 4 和 Tomahawk 5 平台上驗證。
看門狗是無損堆疊其餘部分底下的安全網
最好的死結是從未形成的死結。壅塞控制、其所保護的無損傳輸,以及自適應路由,首先都會讓佇列遠離暫停門檻;而當它們未能做到時,看門狗便是最後一道防線。
罕見並不代表永不發生,而這正是重點所在
在具備適當拓撲與路由、設計良好的網狀架構中,PFC 死結相當罕見,多數維運人員在多年運行中從未遇過。看門狗之所以重要,是因為觸發條件仍可能出現,而一旦發生,其差別將以數小時計。
什麼會觸發它
路由收斂期間的鏈路故障、單一連接埠上 PFC 優先權的錯誤設定,或異常流量模式下的瞬態壅塞事件,都可能造成這些條件。
沒有看門狗
一旦死結形成,AI 叢集便會停止,維運團隊將面臨數小時的除錯,追查一個路由協定回報為健康的停擺問題。
看門狗為何能讓 PFC 安全地大規模部署
它將對無損乙太網路的唯一理論性質疑,轉化為一筆可記錄、能自行清除的事件,且您現有的可觀測性堆疊已能看見。
- 無損安全網。 watchdog 正是區分"PFC 在生產級 AI fabric 上理論上存在風險"與"PFC 可大規模安全部署"的關鍵所在。
- 亞秒級恢復。 偵測、排空與復原通常在一秒內完成。xCCL 重傳一小段時間窗的 RDMA 流量;工作隨即繼續。
- 標準配置。 看門狗在 OcNOS-DC 無損範本中預設啟用。您無需記得將其開啟。
- Observable. 每次觸發都會被記錄、計數並透過 gNMI 串流,以便與您現有的可觀測性堆疊進行閉迴路監控。
- 可按風險等級調優。 在關鍵訓練叢集上調低計時器;一般資料中心網狀架構使用預設值即可。請見 功能矩陣中的 PFC and the 已驗證硬體清單.
PFC 死結,完整解答
PFC死結的成因是什麼?
OcNOS的PFC監控程式如何恢復fabric?
watchdog 是否會丟棄流量?
PFC 死結看門狗是否預設啟用?
深入了解,隨身帶走。
產品規格書,以及內容比本頁更為深入的簡明技術下載資料。
OcNOS 800G 無損 AI Fabric
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開,請使用下方連結。
EVPN-VXLAN 資料中心網路
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開,請使用下方連結。
正在新網狀架構上驗證無損行為?從看門狗開始
告訴我們工作負載與 GPU 規模,IP Infusion 工程師將與您一同檢視您的無損設計;或先透過 AI Fabric Design Suite 取得初步的 leaf-spine 佈局。
以 OcNOS 設計整套 AI 網狀架構
從商業論證到埠數計算,無論您的建置進行到哪個階段,都能從此接續。