將在 OcNOS 7.1 中推出 · 端對端

Global Load Balancing:全網路徑選擇

DLB 在單一 hop 做出正確判斷;GLB 則在整個網狀架構中做出正確判斷。 Global Load Balancing(全域負載平衡)將在 OcNOS 7.1 中推出,將負載平衡從單一埠的視角擴展到端對端路徑品質,在規模最高達 16,384 個 GPU 的三層 AI fabric 上補足多跳熱點的缺口。

OcNOS 7.1GLB 版本
端到端路徑評分,而非本地 hop
16,384GPU 上限,參考設計

為整條路徑評分,而不僅是本地 hop

一個三層切片(leaf、spine、super-spine)承載 GPU AllReduce 流量。GLB 選擇端對端評分最佳的路徑,而非本地出口評分最佳的路徑,因此不會再盲目選擇一條看似空閒、卻通往壅塞下行鏈路的上行鏈路。

三層 AI fabric 中的 Global Load Balancing 三層 AI fabric。頂層為兩臺 super-spine,中間為四臺 spine,底層為兩臺 leaf。遙測箭頭向上流動再向下回流,使入口 leaf 能夠感知端到端路徑品質。其中一條 spine 到 super-spine 的鏈路發生壅塞並被繞過,轉而選用另一條端到端路徑。 端到端遙測 Super-Spine-1TH5 · 51.2T Super-Spine-2TH5 · 51.2T Spine-1e2e ok Spine-2e2e ok Spine-3上行鏈路過熱 Spine-4e2e ok 入口 LeafGLB · 路徑排序 出口 Leaf目標機架 GLB · 端到端路徑評分 · 多跳擁塞感知 · OcNOS 7.1

DLB 與 GLB:依路徑決策的範圍區分

DLB 以本地出口佇列深度為每個 ECMP 下一跳評分,這在兩層 leaf-spine 上是最佳做法。擴展到三層 Clos 後,您可能選到上行鏈路空閒的 spine,卻落在一台回到出口 leaf 的下行鏈路已壅塞的 super-spine 上。本地視角正確,端對端視角卻是錯的。

維度 DLB本地,今日出貨 GLB全域,OcNOS 7.1
決策範圍逐 hop:每台交換器為自身的 ECMP next-hop 排序。端對端:入口 leaf 為完整的 leaf 對 leaf 路徑排序。
所用信號本交換器上的本地出口佇列深度與鏈路使用率。自每一層彙整並回傳至入口的壅塞遙測。
最佳匹配雙層 leaf-spine fabric,以及三層 fabric 中的 leaf 到 spine 跳。帶 super-spine 的三層 fabric,最高至 16,384-GPU 上限。
捕捉到的熱點僅限本地出口壅塞。本地 hop 無法看見的下游熱點。
重新綁定對齊 flowlet,為 RoCEv2 與 TCP 維持循序。對齊 flowlet,相同的循序保證,全網狀架構輸入。

GLB 實作如何協同運作

GLB 由作為網路作業系統的 OcNOS 在採用 Broadcom 的開放硬體上實現。

規模

最高可達 16k-GPU 上限

參考設計採用 256 台 spine 交換器與 128 台 super-spine 交換器,每台皆為 64x800G 的 Tomahawk 5,規模符合 16,384-GPU 的架構上限。

採用 GLB 時的預期樣貌

GLB 將在 OcNOS 7.1 中推出。有關支援的平台和授權,請聯繫 IP Infusion。

  • 將在 OcNOS 7.1 中推出。 版本生命週期與支援期限請見 OcNOS 版本發布頁.
  • 可提供架構評審。 若您正在規劃 1,000 以上 GPU 的網狀架構,我們將進行一次涵蓋 GLB 遙測層的規模評估。請透過下列取得初步的 leaf-spine 佈局 AI 網路設計套件.

DLB 奠定底線,GLB 提升上限

動態負載平衡已在兩層規模下降低尾端延遲。GLB 將在 OcNOS 7.1 中推出,把相同的方法延伸到最大規模叢集所在的三層 fabric。

DLB 解決常見情境

在雙層 leaf-spine 以及 leaf 對 spine hop 上,本地動態負載平衡已消除大多數 ECMP 碰撞。此功能今日已在 TH4 與 TH5 上出貨。

GLB 解決規模情境

GLB 將在 OcNOS 7.1 中推出,它為完整路徑評分,讓入口 leaf 不再選擇看似空閒、卻通往壅塞下行鏈路的上行鏈路。

全域負載平衡,完整解答

GLB 與 DLB 有何不同?
DLB 依據單臺交換器的本地出口佇列深度對每個下一跳進行評分,這在雙層 leaf-spine 中表現最優。GLB 匯聚各層的壅塞遙測資料,使入口 leaf 能夠對完整的 leaf 到 leaf 路徑進行排序,從而捕捉本地視角在三層 fabric 中遺漏的下遊熱點。
GLB何時可用?
GLB 將在 OcNOS 7.1 中推出。有關支援的平台和授權,請聯繫 IP Infusion。
GLB 支援多大規模的 fabric?
參考設計採用 256 台 spine 交換器與 128 台 super-spine 交換器,每台皆為 64x800G 的 Tomahawk 5,規模符合 16,384-GPU 的架構上限。

正在規劃數千 GPU 的網狀架構?讓我們一起計算數字

告訴我們工作負載與 GPU 規模,IP Infusion 工程師將與您一同規劃 GLB 遙測層的規模;或先透過 AI fabric design suite 取得初步的 leaf-spine 佈局。