壅塞感知 ECMP · Flowlet · RoCEv2

動態負載平衡:適用於 AI Fabric 的壅塞感知路徑選擇

在 AI 網路上,請使用動態負載平衡(Dynamic Load Balancing),而非靜態雜湊的 ECMP。 DLB 會在每個流片(flowlet,也就是由封包間間隔所界定的子流量區塊)上重新評估路徑,並運用即時的 ASIC 出口佇列深度與連接埠使用率遙測,使 GPU 集體通訊不再於單一上行鏈路上發生碰撞。它執行於 Broadcom Tomahawk 4 與 5 的交換器 ASIC 之中,無需變更 NIC 或集體通訊函式庫。

按 flowlet壅塞感知路徑選擇
TH4 + TH5Broadcom Tomahawk 25.6T / 51.2T
0 項 NIC 變更執行於交換器 ASIC 之中
PLUSOcNOS-DC 授權層級

葉主幹網路上的動態負載平衡

一個由四個主幹、兩個葉節點組成的切片,承載 GPU AllReduce 流量。DLB 會即時量測本地出口佇列深度。當 Spine-3 飽和時,葉節點會將下一個流片重新分配到負載較低的主幹上,讓四條上行鏈路都維持平衡。

跨 AI 葉脊 fabric 的動態負載平衡 由四台脊交換器和兩台葉交換器組成的 AI 網路。連接到葉交換器的 GPU 伺服器發送 AllReduce 流。三條脊路徑均衡承載 flowlet;第四台脊交換器發生擁塞,Dynamic Load Balancing 將下一個 flowlet 重新分配到負載較低的脊交換器。底部標註 DLB 指標:佇列深度、埠利用率、flowlet 重新綁定。 Spine-3 擁塞 · 下一個 flowlet 重新綁定到 Spine-2 Spine-1 佇列 18% Spine-2 佇列 22% Spine-3 佇列 92% Spine-4 佇列 25% Leaf-1 DLB · flowlet Leaf-2 DLB · flowlet GPU-0 GPU-1 GPU-2 GPU-3 DLB · 佇列深度反饋 · FLOWLET 重新綁定 · 擁塞感知 ECMP

靜態 ECMP 與 DLB 逐項比較

標準的 ECMP 會在流量開始時對 5 元組(5-tuple)進行雜湊,並在該流量的整個生命週期內將其固定。在南北向的網頁流量上,數以百萬計的短暫流量能讓各路徑的使用率趨於平順。但在 AI 網路上,少數幾條 GPU 大流量各自將一整條 400G 或 800G 上行鏈路占用數秒,會造成雜湊碰撞:部分上行鏈路飽和,而並行的路徑卻閒置。DLB 則會運用即時的 ASIC 遙測,在每個流片上重新評估路徑。

維度 靜態 ECMP雜湊並固定 DLB壅塞感知,逐流片
路徑決策在流量開始時對 5 元組進行一次雜湊,並在其整個生命週期內將該流量固定。在每個流片邊界重新評估路徑,並將流量移至壅塞程度較低的上行鏈路。
粒度整條流量。單一次雜湊選擇就主宰了長達數秒的大流量。流片:由微小的封包間間隔所界定的子流量區塊,可安全地重新分配而不會造成重新排序。
壅塞訊號無。雜湊對即時的鏈路狀態毫無所知。即時 ASIC 出口佇列深度與埠使用率遙測。
在 GPU 大流量之下雜湊碰撞:兩條大流量可能落在同一條上行鏈路上,而另一條卻閒置。飽和的成員會被移出候選集合,讓上行鏈路保持平衡。
重新排序風險無;流量被固定,但代價是熱點與尾端延遲的異常值。實務上無;封包間間隔意味著 RoCEv2 與 TCP 都能看到正確的循序傳遞。
NIC / 集體通訊函式庫無需變更;標準行為。無需變更。執行於交換器 ASIC 之中,因此 RoCEv2 NIC 與 xCCL 堆疊完全不受影響。
硬體任何支援 ECMP 的交換器。Broadcom Tomahawk 4(25.6T)與 Tomahawk 5(51.2T),採用 64x400G 與 64x800G 組態。

OcNOS DLB 實作

DLB 並非外掛在控制平面上的元件。它在 Broadcom 轉送管線中執行,依據即時壅塞訊號為每個 ECMP 下一跳評分,並在硬體中重新綁定 flowlet。

流片偵測

Flowlet 間隔計時器

ASIC 原生的 flowlet 閒置計時器將長時間的大象流切分為小段,可安全地分散到多條路徑上,而不會造成 TCP 或 RoCEv2 封包亂序。

路徑品質

即時佇列深度反饋

DLB 從 Tomahawk 流水線獲取各出埠的佇列佔用率與鏈路利用率信號,即時為每條 ECMP 下一跳評分。

重新綁定

壅塞感知下一跳選擇

在每個 flowlet 邊界選擇品質最高的成員,因此飽和的 spine 會被移出候選集合。

硬體

TH4 / TH5 原生

已在 Broadcom Tomahawk 4(25.6T)與 Tomahawk 5(51.2T)spine 平台上,以 64x400G 與 64x800G 埠設定通過認證。

DLB 在網路中的定位

DLB 是更大型開放乙太網路傳輸架構中的單跳壅塞感知層。它執行於無損 RoCEv2 之上,而將在 OcNOS 7.1 中推出的全 fabric GLB 會將其延伸為端對端評分。

底層的無損傳輸

DLB 會在一個 RoCEv2 無損網路 (PFC、ECN、DCQCN)。

接著是全網路評分

DLB 負責為本地的下一跳評分,而 GLB(OcNOS 7.1) 則將此決策延伸至整個葉主幹網路的端到端路徑品質。

在 NIC 中實現同樣的思路

Ultra Ethernet 將路徑分散帶入 NIC:封包噴灑和多路徑 RDMA 從支援 UEC 的 NIC 將一條流分散到多條路徑上。

DLB 在生產環境 AI fabric 中帶來的價值

透過讓 flowlet 避開靜態 ECMP 過載的壅塞上行鏈路,DLB 將對稱的 leaf-spine 網狀架構轉變為在 GPU 集合通訊流量下仍保持平衡的架構。

  • 更高的利用率。 Flowlet 重新平衡讓流量避開靜態 ECMP 過載的壅塞上行鏈路,因此妥善運作的網狀架構可在相同硬體上以超過 90% 的使用率為目標,而無需購買更多上行鏈路。
  • 更低的尾延遲。 由於不會有單一鏈路在其他鏈路閒置時飽和,集合通訊的完成時間因此縮短。
  • 無需更換 NIC。 DLB 位於交換器 ASIC 中。現有的 RoCEv2 網路卡與 xCCL(NCCL、RCCL、oneCCL)集合通訊堆疊無需變更程式碼即可獲得正確的循序傳遞。
  • PLUS 層級。 DLB 包含在 OcNOS-DC PLUS SKU 中,與 OcNOS-DC 其他功能使用同一支援合約。

動態負載平衡是乙太網路 AI 網狀架構的基本要件

靜態 ECMP 是為南北向網路流量而設計。一旦網狀架構承載 GPU 集合通訊,動態負載平衡便是平衡上行鏈路與訓練工作停滯之間的差別,而 OcNOS 如今就能在開放硬體上提供此能力。

僅靠 ECMP 並不足夠

少數幾條大象流即可擊敗靜態雜湊。雜湊碰撞使部分上行鏈路飽和,而並行路徑卻閒置。

DLB 弭平路由落差

以 flowlet 為單位、具壅塞感知的路徑選擇,讓乙太網路網狀架構在集合通訊流量下保持平衡,這正是 InfiniBand 曾佔優勢的面向之一。

OcNOS 是推手

如今是 DLB,OcNOS 7.1 提供 GLB。一套 NOS 執行於 Edgecore、UfiSpace 等廠商經過認證的開放硬體上,無需改動 NIC 或集合通訊函式庫。

動態負載平衡,完整解答

什麼是 flowlet,DLB 為何要使用它?
flowlet 是由較小的封包間隔所劃分的子流片段。DLB 在每個 flowlet 邊界處重新評估路徑,而非固定整條流,因此可將流量轉移至壅塞較輕的 uplink,而不會引發 RoCEv2 或 TCP 的亂序。
DLB 與靜態 ECMP 有何不同?
靜態 ECMP 在流量開始時對 5-tuple 進行雜湊,並在其生命週期內將流量固定於同一路徑,因此兩條 GPU 大象流可能在同一條上行鏈路上碰撞,而另一條卻閒置。DLB 運用即時的佇列深度與連接埠使用率,即時為每個 next-hop 評分,並將 flowlet 重新綁定至最佳路徑。
DLB是否需要新的NIC或對我的集合運算函式庫進行變更?
不需要。DLB 執行於交換器 ASIC 內,因此現有的 RoCEv2 NIC 以及 xCCL(NCCL、RCCL、oneCCL)集合運算堆疊無需變更程式碼即可取得正確的按序交付。
哪些硬體支援 OcNOS DLB?
DLB 支援採用 64x400G 與 64x800G 設定的 Broadcom Tomahawk 4(25.6T)與 Tomahawk 5(51.2T)平台,以及 Trident 3(X4、X5、X7)與 Trident 4 平台。此功能包含於 OcNOS-DC PLUS SKU,不包含於 IPBASE。

深入了解,隨身帶走。

產品規格書,以及內容比本頁更為深入的簡明技術下載資料。

規格書

OcNOS-DC 規格書

完整的 OcNOS-DC 規格:EVPN-VXLAN 與 Ethernet for AI 功能集、軟體 SKU、支援的硬體平台,以及解決方案訂購指南。

取得規格書
解決方案簡報

OcNOS 800G 無損 AI Fabric

基於 Tomahawk 5 spine 的無損 RoCEv2 fabric:SKU 等級、經認證的平台與部署架構。

取得簡報
解決方案簡報

EVPN-VXLAN 資料中心網路

基於 EVPN-VXLAN 的 leaf-spine 資料中心 fabric:每租戶一個 VRF 與多個 VNI、EVPN 多歸屬、BGP unnumbered 與 route-target 過濾。

取得簡報

正在為您的 GPU 網狀架構調校 DLB?取得針對工作負載的專屬檢視

告訴我們 GPU 規模與集合通訊模式,IP Infusion 工程師將與您一同調校 flowlet 計時器與路徑評分;或先透過 AI Fabric Design Suite 取得初步的 leaf-spine 佈局。