動態負載平衡:適用於 AI Fabric 的壅塞感知路徑選擇
在 AI 網路上,請使用動態負載平衡(Dynamic Load Balancing),而非靜態雜湊的 ECMP。 DLB 會在每個流片(flowlet,也就是由封包間間隔所界定的子流量區塊)上重新評估路徑,並運用即時的 ASIC 出口佇列深度與連接埠使用率遙測,使 GPU 集體通訊不再於單一上行鏈路上發生碰撞。它執行於 Broadcom Tomahawk 4 與 5 的交換器 ASIC 之中,無需變更 NIC 或集體通訊函式庫。
葉主幹網路上的動態負載平衡
一個由四個主幹、兩個葉節點組成的切片,承載 GPU AllReduce 流量。DLB 會即時量測本地出口佇列深度。當 Spine-3 飽和時,葉節點會將下一個流片重新分配到負載較低的主幹上,讓四條上行鏈路都維持平衡。
靜態 ECMP 與 DLB 逐項比較
標準的 ECMP 會在流量開始時對 5 元組(5-tuple)進行雜湊,並在該流量的整個生命週期內將其固定。在南北向的網頁流量上,數以百萬計的短暫流量能讓各路徑的使用率趨於平順。但在 AI 網路上,少數幾條 GPU 大流量各自將一整條 400G 或 800G 上行鏈路占用數秒,會造成雜湊碰撞:部分上行鏈路飽和,而並行的路徑卻閒置。DLB 則會運用即時的 ASIC 遙測,在每個流片上重新評估路徑。
| 維度 | 靜態 ECMP雜湊並固定 | DLB壅塞感知,逐流片 |
|---|---|---|
| 路徑決策 | 在流量開始時對 5 元組進行一次雜湊,並在其整個生命週期內將該流量固定。 | 在每個流片邊界重新評估路徑,並將流量移至壅塞程度較低的上行鏈路。 |
| 粒度 | 整條流量。單一次雜湊選擇就主宰了長達數秒的大流量。 | 流片:由微小的封包間間隔所界定的子流量區塊,可安全地重新分配而不會造成重新排序。 |
| 壅塞訊號 | 無。雜湊對即時的鏈路狀態毫無所知。 | 即時 ASIC 出口佇列深度與埠使用率遙測。 |
| 在 GPU 大流量之下 | 雜湊碰撞:兩條大流量可能落在同一條上行鏈路上,而另一條卻閒置。 | 飽和的成員會被移出候選集合,讓上行鏈路保持平衡。 |
| 重新排序風險 | 無;流量被固定,但代價是熱點與尾端延遲的異常值。 | 實務上無;封包間間隔意味著 RoCEv2 與 TCP 都能看到正確的循序傳遞。 |
| NIC / 集體通訊函式庫 | 無需變更;標準行為。 | 無需變更。執行於交換器 ASIC 之中,因此 RoCEv2 NIC 與 xCCL 堆疊完全不受影響。 |
| 硬體 | 任何支援 ECMP 的交換器。 | Broadcom Tomahawk 4(25.6T)與 Tomahawk 5(51.2T),採用 64x400G 與 64x800G 組態。 |
OcNOS DLB 實作
DLB 並非外掛在控制平面上的元件。它在 Broadcom 轉送管線中執行,依據即時壅塞訊號為每個 ECMP 下一跳評分,並在硬體中重新綁定 flowlet。
Flowlet 間隔計時器
ASIC 原生的 flowlet 閒置計時器將長時間的大象流切分為小段,可安全地分散到多條路徑上,而不會造成 TCP 或 RoCEv2 封包亂序。
即時佇列深度反饋
DLB 從 Tomahawk 流水線獲取各出埠的佇列佔用率與鏈路利用率信號,即時為每條 ECMP 下一跳評分。
壅塞感知下一跳選擇
在每個 flowlet 邊界選擇品質最高的成員,因此飽和的 spine 會被移出候選集合。
TH4 / TH5 原生
已在 Broadcom Tomahawk 4(25.6T)與 Tomahawk 5(51.2T)spine 平台上,以 64x400G 與 64x800G 埠設定通過認證。
DLB 在網路中的定位
DLB 是更大型開放乙太網路傳輸架構中的單跳壅塞感知層。它執行於無損 RoCEv2 之上,而將在 OcNOS 7.1 中推出的全 fabric GLB 會將其延伸為端對端評分。
在 NIC 中實現同樣的思路
Ultra Ethernet 將路徑分散帶入 NIC:封包噴灑和多路徑 RDMA 從支援 UEC 的 NIC 將一條流分散到多條路徑上。
DLB 在生產環境 AI fabric 中帶來的價值
透過讓 flowlet 避開靜態 ECMP 過載的壅塞上行鏈路,DLB 將對稱的 leaf-spine 網狀架構轉變為在 GPU 集合通訊流量下仍保持平衡的架構。
- 更高的利用率。 Flowlet 重新平衡讓流量避開靜態 ECMP 過載的壅塞上行鏈路,因此妥善運作的網狀架構可在相同硬體上以超過 90% 的使用率為目標,而無需購買更多上行鏈路。
- 更低的尾延遲。 由於不會有單一鏈路在其他鏈路閒置時飽和,集合通訊的完成時間因此縮短。
- 無需更換 NIC。 DLB 位於交換器 ASIC 中。現有的 RoCEv2 網路卡與 xCCL(NCCL、RCCL、oneCCL)集合通訊堆疊無需變更程式碼即可獲得正確的循序傳遞。
- PLUS 層級。 DLB 包含在 OcNOS-DC PLUS SKU 中,與 OcNOS-DC 其他功能使用同一支援合約。
動態負載平衡是乙太網路 AI 網狀架構的基本要件
靜態 ECMP 是為南北向網路流量而設計。一旦網狀架構承載 GPU 集合通訊,動態負載平衡便是平衡上行鏈路與訓練工作停滯之間的差別,而 OcNOS 如今就能在開放硬體上提供此能力。
僅靠 ECMP 並不足夠
少數幾條大象流即可擊敗靜態雜湊。雜湊碰撞使部分上行鏈路飽和,而並行路徑卻閒置。
DLB 弭平路由落差
以 flowlet 為單位、具壅塞感知的路徑選擇,讓乙太網路網狀架構在集合通訊流量下保持平衡,這正是 InfiniBand 曾佔優勢的面向之一。
OcNOS 是推手
如今是 DLB,OcNOS 7.1 提供 GLB。一套 NOS 執行於 Edgecore、UfiSpace 等廠商經過認證的開放硬體上,無需改動 NIC 或集合通訊函式庫。
動態負載平衡,完整解答
什麼是 flowlet,DLB 為何要使用它?
DLB 與靜態 ECMP 有何不同?
DLB是否需要新的NIC或對我的集合運算函式庫進行變更?
哪些硬體支援 OcNOS DLB?
深入了解,隨身帶走。
產品規格書,以及內容比本頁更為深入的簡明技術下載資料。

OcNOS-DC 規格書
完整的 OcNOS-DC 規格:EVPN-VXLAN 與 Ethernet for AI 功能集、軟體 SKU、支援的硬體平台,以及解決方案訂購指南。
取得規格書
OcNOS 800G 無損 AI Fabric
基於 Tomahawk 5 spine 的無損 RoCEv2 fabric:SKU 等級、經認證的平台與部署架構。
取得簡報
EVPN-VXLAN 資料中心網路
基於 EVPN-VXLAN 的 leaf-spine 資料中心 fabric:每租戶一個 VRF 與多個 VNI、EVPN 多歸屬、BGP unnumbered 與 route-target 過濾。
取得簡報OcNOS-DC 規格書
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開,請使用下方連結。
OcNOS 800G 無損 AI Fabric
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開,請使用下方連結。
EVPN-VXLAN 資料中心網路
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開,請使用下方連結。
以 OcNOS 設計整套 AI 網狀架構
從商業論證到埠數計算,無論您的建置進行到哪個階段,都能從此接續。
正在為您的 GPU 網狀架構調校 DLB?取得針對工作負載的專屬檢視
告訴我們 GPU 規模與集合通訊模式,IP Infusion 工程師將與您一同調校 flowlet 計時器與路徑評分;或先透過 AI Fabric Design Suite 取得初步的 leaf-spine 佈局。