死鎖恢復 · RoCEv2 · 無損

PFC 死鎖檢測與恢復

PFC 死結是唯一能讓無損網狀架構無限期停擺的故障:一種循環緩衝區相依關係,其中被暫停的優先權佇列彼此互相等待。 OcNOS-DC 死鎖偵測與恢復以逐連接埠、逐優先權方式運作。它在 Broadcom Tomahawk 3、4、5,Trident 3(X4、X5、X7)與 Trident 4 上偵測被暫停佇列的循環,並在工作停擺前自動排空佇列。

按埠以及逐優先權死鎖偵測
可設定偵測與復原計時器
TH3 至 TH5以及 Trident 3(X4、X5、X7)與 Trident 4
OcNOS-DC PLUS授權層級

三台交換器的暫停循環

三台交換器處於循環相依關係。每台都在其無損優先權佇列上被暫停,等待下一台交換器排空。若無介入,此循環將永久穩定存在。OcNOS 死鎖偵測在設定的逾時後觸發,排空 Switch-A 上的佇列 3,循環隨即瓦解。

PFC 死鎖環路及其恢復 三台交換器呈三角形排列。暫停箭頭從每台交換器順時針指向下一台,表示每台交換器都在等待下游交換器而暫停。Switch-A 上的計時器圖示表示 OcNOS 死鎖偵測計時器到期,排空佇列並打破循環。 PFC 暫停(CoS 3) PFC 暫停 PFC 暫停 WD 計時器到期 清空佇列 3 Switch-A暫停於 Q3等待 B Switch-B暫停於 Q3等待 C Switch-C暫停於 Q3等待 A PFC 死鎖 · 偵測逾時 · 佇列排空 · 自動恢復

PFC 如何造成死鎖

PFC 使 RoCEv2 達到無損,在行為良好的拓撲上它從不惹麻煩。此故障模式僅在多路徑網狀架構上形成被暫停佇列的封閉循環時才會出現。

PFC 是一種逐 hop 的暫停機制:當交換器的無損入口佇列填滿超過門檻時,會向其上游發出暫停訊號,上游便停止傳送。在單一流向的樹狀拓撲上,這是安全的。在具備多條路徑的 leaf-spine 網狀架構上,繞過鏈路故障的 ECMP 重新路由在特定條件下,可能形成一條每台交換器都被暫停、等待下一台的循環路徑。這種循環緩衝區相依關係,也就是被暫停的優先權佇列彼此互相等待,正是 PFC 死結。

一旦循環形成便會穩定:有足夠的緩衝區容納被暫停的訊框,路由協定認為一切皆已收斂,而 PFC 則在每台交換器上持續重新發出暫停。若無介入,受影響的無損優先權將無限期停擺。 RoCEv2 流量停止,xCCL(RCCL、oneCCL)集合通訊逾時,訓練工作隨之停滯。

OcNOS-DC 死鎖偵測與恢復

依埠、依優先權運作的計時器,偵測暫停佇列形成的循環,在作業停擺前清空受影響的佇列,接著自行恢復正常 PFC。偵測、復原與還原構成核心三要素,調校與授權則作為補充。

檢測

每埠、每優先級計時器

計時器針對每個入口連接埠與每個無損優先權執行。若該優先權連續被暫停達設定的偵測時間,死鎖偵測便會觸發並開始恢復。

恢復

自動佇列排空

偵測觸發後,復原程序會在所設定的復原時間內執行。預設情況下,被暫停的流量會被轉送,從而打破循環。若將復原動作設定為丟棄,這些訊框會被丟棄,並由 RDMA NIC 重新傳送。

復原

恢復後自動還原

達到設定的恢復間隔後,受影響優先權上的 PFC 即恢復正常運作。無需人工介入。

可調

電信業者可設定的計時器

偵測倍數、時間粒度與復原時間均可透過 CLI 依介面設定。維運人員可在高風險叢集上縮短這些計時器。

適用範圍

DC-PLUS 許可層級

屬於 OcNOS-DC PLUS SKU。支援 Broadcom Tomahawk 3、Tomahawk 4、Tomahawk 5、Trident 3(X4、X5、X7)與 Trident 4 平台。

死鎖恢復是無損堆疊其餘部分底下的安全網

最好的死結是從未形成的死結。壅塞控制、其所保護的無損傳輸,以及動態負載平衡,首先都會讓佇列遠離暫停門檻;而當它們未能做到時,死結恢復便是最後一道防線。

壅塞控制

DCQCN (執行於 NIC)會在交換器以 ECN 標記封包時、入口佇列填滿至 PFC 門檻之前降低傳送端速率,因此暫停被觸發的頻率大幅降低,循環也鮮少有機會封閉。

無損傳輸

RoCEv2 是 PFC 存在所要保護的 RDMA 傳輸。死鎖恢復使得大規模無損執行 RoCEv2 變得安全,而非僅在理論上具有風險。

動態負載平衡

DLB 將 flowlet 從壅塞的上行鏈路重新分配出去,分散負載,讓入口佇列較不易達到觸發暫停的閾值。

罕見並不代表永不發生,而這正是重點所在

在拓撲與路由設計良好的 fabric 中,PFC 死結相當少見。但觸發條件仍可能出現,這正是死結恢復的價值所在。

什麼會觸發它

路由收斂期間的鏈路故障、單一連接埠上 PFC 優先權的錯誤設定,或異常流量模式下的瞬態壅塞事件,都可能造成這些條件。

沒有死鎖恢復

一旦真的形成死結,AI 叢集便會停擺,維運團隊只能追查一個路由協定回報為正常的停擺問題。

有了死鎖恢復

您得到的是一次短暫的重傳突發與一筆記錄事件,而非停滯的工作。透過 AI Fabric Sizing Tool 規劃能讓死結維持罕見的拓撲與交換器層級。

死鎖恢復為何能讓 PFC 安全地大規模部署

它將無損乙太網路唯一的理論性疑慮,轉化為一個留有日誌、可自行排除的事件。

  • 無損安全網。 死鎖恢復正是區分「PFC 在生產級 AI fabric 上理論上存在風險」與「PFC 可大規模安全部署」的關鍵所在。
  • 自動復原。 復原程序在所設定的復原時間內執行,之後恢復正常 PFC。預設情況下,被暫停的流量會被轉送而非丟棄。
  • 依介面設定。 死鎖偵測與恢復在每個承載無損流量的介面上啟用,並同時設定其偵測與復原計時器。
  • 可按風險等級調優。 在關鍵訓練叢集上調低計時器。請見 功能矩陣中的 PFC 與 經過認證的硬體列表.

PFC 死結,完整解答

PFC死結的成因是什麼?
PFC 是一種逐 hop 的暫停機制。在多路徑網狀架構上,繞過鏈路故障的 ECMP 重新路由在特定條件下,可能形成一條每台交換器都被暫停、等待下一台的循環路徑。這種循環緩衝區相依關係相當穩定,無損優先權將持續停擺,直到有機制打破它為止。
OcNOS 的 PFC 死鎖恢復如何運作?
若某個lossless優先權在所設定的偵測時間內持續處於暫停狀態,便會觸發依連接埠、依優先權的計時器。隨後復原程序會在所設定的復原時間內執行並自動結束,無需維運人員介入。預設情況下,復原期間被暫停的流量會被轉送;也可將 OcNOS 設定為改以丟棄這些流量。
死鎖恢復是否會丟棄流量?
預設不會。復原期間,OcNOS 會轉送被暫停的流量。若將復原動作設定為丟棄,復原視窗內的訊框會被丟棄,並由 RDMA NIC 的傳輸層重新傳送。
PFC 死鎖偵測是否預設啟用?
死鎖偵測與恢復依介面啟用,偵測與復原計時器透過 CLI 設定。它是 Broadcom Tomahawk 3、Tomahawk 4、Tomahawk 5、Trident 3(X4、X5、X7)與 Trident 4 平台上 OcNOS-DC PLUS SKU 的一部分。

深入了解,隨身帶走。

產品規格書,以及內容比本頁更為深入的簡明技術下載資料。

規格書

OcNOS-DC 規格書

完整的 OcNOS-DC 規格:EVPN-VXLAN 與 Ethernet for AI 功能集、軟體 SKU、支援的硬體平台,以及解決方案訂購指南。

取得規格書
解決方案簡報

OcNOS 800G 無損 AI Fabric

基於 Tomahawk 5 spine 的無損 RoCEv2 fabric:SKU 等級、經認證的平台與部署架構。

取得簡報
解決方案簡報

EVPN-VXLAN 資料中心網路

基於 EVPN-VXLAN 的 leaf-spine 資料中心 fabric:每租戶一個 VRF 與多個 VNI、EVPN 多歸屬、BGP unnumbered 與 route-target 過濾。

取得簡報

正在新網狀架構上驗證無損行為?從死鎖恢復開始

告訴我們工作負載與 GPU 規模,IP Infusion 工程師將與您一同檢視您的無損設計;或先透過 AI Fabric Design Suite 取得初步的 leaf-spine 佈局。