AI 後端 · 儲存 · 前端 · Coherent DCI

AI 資料中心網狀架構

AI 資料中心運行四個網路層,而非單一扁平網路:用於 GPU 對 GPU 集合通訊的 AI 後端網狀架構、儲存網狀架構、前端網狀架構,以及一個隔離的頻外管理層。 Coherent DCI 將訓練延伸至跨站點,而 OcNOS-DC 在經認證的 Broadcom Tomahawk 硬體上以單一 NOS 運行每一個網路層。

4 個平面外加 coherent DCI
1 個 NOS每個網路層上的 OcNOS-DC
最高 800GTomahawk 5, 64x800G
1 份合同每套 OcNOS System

設計網路層,而不僅是交換器

大多數 AI 網狀架構的錯誤都是範圍界定的錯誤:團隊規劃了 GPU 層的規模,卻將儲存、租戶存取與管理當作事後補強硬加上去。

應改為依網路層區隔流量,並賦予每一層所需的訂閱比例與隔離。只有 AI 後端網狀架構必須是無阻塞且無損的;其餘三層的存在,是為了將不屬於它的流量隔絕在外。全部四個網路層,加上連接各站點的 coherent 鏈路,皆運行於 OcNOS-DC 與 已列入 HCL 的 Tomahawk 與 Trident 硬體上。

每個網路層各司一職

為每個網路層依其自身職責規劃規模,讓其流量各行其道,網狀架構便能在完整的訓練執行下維持可預測性。

平面 1

AI 後端網狀架構

承載集合通訊的 GPU 對 GPU 網路層。建構為 1:1 無阻塞 ,形式為 rail 最佳化 leaf-spine pod,或帶 super-spine 的三層結構,執行在 純 Layer 3 eBGP 底層網路,並透過 RDMA 所需的 RoCEv2 網狀架構維持無損:PFC(包括透過 L3,搭配 DCBX/LLDP)與 ECN。DLB 分散流量,使任何鏈路在 AllReduce 期間都不會成為熱點。

1:1 無阻塞 · RoCEv2 (PFC + ECN) · DLB · TH5 800G
平面 2

儲存網狀架構

在 GPU 機架與 NVMe-oF 或 NFS 儲存之間搬移檢查點與資料集的 leaf-spine Clos。通常規劃規模接近 3:1,因為儲存突發流量比集合通訊能容忍更高的超訂比例,並維持無損,使 RDMA 儲存流量在負載下不會丟棄。

Leaf-spine Clos · ~3:1 · 無損 RDMA · NVMe-oF / NFS
平面 3

前端 fabric

供租戶存取、推論服務,以及通往資料中心其餘部分與網際網路之出口路徑的南北向平面。運行 400G 或 800G 存取,其規模依所承載的服務流量而定,而非依後端平面的集合式流量模式而定。

南北向 · 租戶/推論 · 400G / 800G
平面 4

帶外管理

獨立佈線的另一個 Clos 或 MLAG 平面,讓開通與監控永遠不會與資料平面共命運。承載 ZTP、SNMP 與 syslog,以及 gNMI/OpenConfig 串流遙測,並在資料平面 fabric 重新設定時仍持續運作。

隔離平面 · ZTP · SNMP / syslog · gNMI 遙測

四個 fabric 加上 DCI,全在一套 NOS 上

一座資料中心、四個平面,透過相干光學延伸至第二個站點。AI 後端平面採 1:1 無阻塞;儲存、前端與管理則各自以其流量所需的比例運行。每個平面都運行 OcNOS-DC,而 ZR+ DCI 連結可在跨站點間擴展訓練,無需外接轉發器。

AI 資料中心 fabric 架構:四個平面加連接第二站點的相干 DCI 以四個堆疊網路平面呈現的單個 AI 資料中心:AI 後端 fabric(1:1 無阻塞、RoCEv2 無損、DLB)、儲存 fabric(約 3:1,NVMe-oF 與 NFS)、前端 fabric(400G 與 800G 南北向)以及隔離的帶外管理平面(ZTP、SNMP、syslog、gNMI 遙測)。四個平面均運行 OcNOS-DC。400G ZR 及 ZR+ 或 800G ZR 相干 DCI 鏈路將該站點連接到第二個資料中心;400ZR 涵蓋約 120 km 以內的都會距離,OpenZR+ 則更遠。底部橫欄:一套 NOS 覆蓋 AI 後端、儲存、前端、帶外管理與相干 DCI。 資料中心 A · OcNOS-DC AI 後端網狀架構 GPU 集合通信 · rail 最佳化 / Clos 1:1 無阻塞 · RoCEv2 · DLB 儲存網狀架構 檢查點 / 數據集 · 無損 RDMA ~3:1 · NVMe-oF / NFS 前端 fabric 南北向 · 租戶 / 推理 400G / 800G 帶外管理 ZTP · SNMP / syslog · 遙測 隔離平面 · gNMI 資料中心 B AI 後端網狀架構 1:1 無阻塞 · RoCEv2 儲存 + 前端 ~3:1 · 400G / 800G 帶外管理 ZR+ DCI 400G ZR / ZR+ · 800G ZR COHERENT · 400ZR UP TO ~120 KM · OPENZR+ FARTHER (oFEC) 一套 NOS · OcNOS-DC · AI 後端 · 儲存 · 前端 · 帶外管理 · 相干 DCI

OcNOS 組件: 每個平面採用路由式 eBGP-unnumbered 底層網路(AI 後端為純 Layer 3 eBGP,並將 EVPN-VXLAN 保留作為租戶覆蓋層,而非 AI 底層網路)、RoCEv2 無損(PFC + ECN、透過 DCBX/LLDP 的 L3 上 PFC)以及後端與儲存平面上的 DLB、供 ZTP 與 gNMI 遙測使用的隔離管理平面,以及 AIS800-64D、S9321-64E 與 AS9736-64D 上用於 DCI 的 400G ZR 及 ZR+ 或 800G ZR 相干光學。後端平面建構於 HCL 列名的 Tomahawk 5(Edgecore AIS800-64D、UfiSpace S9321-64E / 64EO)與 Tomahawk 4(Edgecore AS9736-64D)硬體之上;管理平面在 Trident 3 交換器上執行 OcNOS-DC MGMT 映像檔。

相干 DCI,無需外接轉發器

當單一訓練作業超出一座資料機房時,fabric 可透過 400G ZR+ 或 800G ZR 相干可插拔光學,直接從邊界埠延伸跨越 WAN。

在 OcNOS-DC 上,800G ZR 光學運行於 Tomahawk 5 的 Edgecore AIS800-64D 與 UfiSpace S9321-64E,400G ZR 與 OpenZR+ 光學運行於 Tomahawk 4 的 Edgecore AS9736-64D。400ZR 涵蓋約 120 km 以內的都會距離,使用 oFEC 的 OpenZR+ 則可傳得更遠,同時讓每個站點保有自己不變的 leaf-spine fabric。詳見 相干 DCI 深入解析,了解光學與傳輸距離細節。

每個平面運行哪種硬體

AI 後端、儲存與前端平面在 Broadcom Tomahawk 晶片上執行 OcNOS-DC。800G 平面與 DCI 採用 Tomahawk 5;入門與 400G 平面採用 Tomahawk 4。兩者皆為晶片內共享緩衝交換器。頻外管理平面在 Trident 3 1G/10G 交換器上執行 OcNOS-DC MGMT 映像檔,且每個平台皆列於 OcNOS 硬體相容性清單。

晶片層 Tomahawk 5800G 平面 + DCI Tomahawk 4入門 + 400G 平面
Broadcom 型號BCM78900BCM56990
交換器容量51.2 Tbps25.6 Tbps
埠配置64×800G64×400G
緩存晶片內共享緩衝;HCL 列名。晶片內共享緩衝;HCL 列名。
平台Edgecore AIS800-64D、UfiSpace S9321-64E、UfiSpace S9321-64EO。AIS800-64D 與 S9321-64E 支援 800G ZR 光學。Edgecore AS9736-64D。
在設計中的角色800G 的 AI 後端與儲存平面,加上跨站點的相干 DCI。入門型建置以及 400G 前端或管理平面。

一套 NOS 的力量

四個平面與 DCI 鏈路並不是四種產品。它們是同一套作業系統所扮演的四種角色:OcNOS-DC 以同一個設定模型運行 AI 後端、儲存、前端與頻外管理 fabric,以及相干 DCI。團隊只需學習一套 CLI、一套自動化介面與一套計數器,即可涵蓋每個平面。

一套維運模型

無論某個埠是朝向 GPU 的後端 leaf、儲存 leaf、前端邊界,還是管理交換器,都套用相同的路由、QoS 與遙測模型。

單一支援合約

將交換器以 OcNOS Systems 購買時,單一份 IP Infusion 合約即涵蓋軟體與硬體,並在每個平面上提供一個 TAC 與一份 SLA。對於您自行購買的硬體,由 IP Infusion 支援軟體,由製造商支援硬體。

一份硬體清單

每個平面都以同一份 OcNOS 硬體相容性清單建構,因此支援、光學與韌體在整個設計中保持一致。

一條可持續成長的藍圖

全 fabric GLB 將在 OcNOS 7.1 中推出。即將推出的 Tomahawk 6 晶片(BCM78910 / BCM78914,102.4 Tbps,TSMC 3nm)將納入 OcNOS 7.2 版本,以更高的埠數延續相同設計。

AI fabric 架構常見問題

AI 資料中心由哪些 fabric 組成?
AI 資料中心運行四個網路平面。 AI 後端網狀架構 承載 GPU 對 GPU 的集合式流量,是必須做到無阻塞且無損的那一個。 儲存 fabric 透過 RDMA 在 GPU 機架之間搬移檢查點與資料集。 前端 fabric 處理南北向、租戶與推論存取。獨立的 帶外管理 平面以自己的佈線開通交換器並串流遙測。相干 DCI 將此設計延伸至跨站點。OcNOS-DC 運行全部四個平面加上 DCI。
每個 fabric 應採用多少超額訂閱比?
AI 後端 fabric 在 GPU 平面上應為 1:1 無阻塞 ,因為那裡的熱點連結會使整個集合作業停滯,而每個 GPU 都得等待最慢的傳輸。儲存 fabric 通常運行接近成本最佳化的比例 3:1,因為儲存突發流量對延遲的敏感度低於集合作業。前端與帶外管理平面承載較輕、較不突發的流量,可容忍較高的超額訂閱。將比例對應到每個平面實際承載的流量。
如何連接兩座 AI 資料中心?
使用相干 DCI:在 border 埠上使用 400G ZR 和 ZR+ 或 800G ZR 可插拔光模組,無需外接轉發器。在 OcNOS-DC 上,Tomahawk 5 的 Edgecore AIS800-64D 與 UfiSpace S9321-64E 支援 800G ZR 光模組,Tomahawk 4 的 Edgecore AS9736-64D 支援 400G ZR 與 OpenZR+ 光模組。400ZR 涵蓋約 120 km 以內的都會 DCI 距離,使用 oFEC 的 OpenZR+ 則更遠。這樣單次訓練即可橫跨多個資料機房,而每個站點各自的 leaf-spine fabric 保持不變。
一套 NOS 能運行所有 fabric 嗎?
可以。 OcNOS-DC 在同一套作業系統上運行 AI 後端、儲存、前端與頻外管理平面,以及相干 DCI。這代表一套設定模型以及 一份 IP Infusion 支援合約 ,涵蓋軟體,並在設計中的每個平面上提供一個 TAC 與一份 SLA。將交換器以 OcNOS Systems 購買時,同一份合約也涵蓋硬體。對於您自行購買的硬體,由製造商支援硬體。
每個平面運行哪種硬體?
AI 後端、儲存與前端平面在 Broadcom Tomahawk 晶片上執行 OcNOS-DC。800G 平面採用 Tomahawk 5(BCM78900,51.2 Tbps,64×800G):Edgecore AIS800-64D、UfiSpace S9321-64E 或 UfiSpace S9321-64EO。入門級和 400G 平面採用 Tomahawk 4(BCM56990,25.6 Tbps,64×400G),例如 Edgecore AS9736-64D。這些都是晶片內共享緩衝區交換器。頻外管理平面在 Trident 3 1G/10G 交換器(例如 Edgecore AS4625-54T)上執行 OcNOS-DC MGMT 映像檔。所有平台均列入 OcNOS 硬體相容性清單。

深入了解,隨身帶走。

產品規格書,以及內容比本頁更為深入的簡明技術下載資料。

規格書

OcNOS-DC 規格書

完整的 OcNOS-DC 規格:EVPN-VXLAN 與 Ethernet for AI 功能集、軟體 SKU、支援的硬體平台,以及解決方案訂購指南。

取得規格書
解決方案簡報

OcNOS 800G 無損 AI Fabric

基於 Tomahawk 5 spine 的無損 RoCEv2 fabric:SKU 等級、經認證的平台與部署架構。

取得簡報
解決方案簡報

EVPN-VXLAN 資料中心網路

基於 EVPN-VXLAN 的 leaf-spine 資料中心 fabric:每租戶一個 VRF 與多個 VNI、EVPN 多歸屬、BGP unnumbered 與 route-target 過濾。

取得簡報

要設計完整的 AI 資料中心嗎?我們會與您一起規劃每個平面。

告訴我們 GPU 規模與工作負載,IP Infusion 工程師便會與您一起為後端、儲存、前端、管理與 DCI 平面進行規模設計,或在 AI Fabric Design Suite 中先從初版佈局開始。