適用於 neocloud 與 GPU 雲端業者的網路

IP Infusion 提供 GPU 雲端賴以運作的網路:在經認證的交換器上執行 OcNOS-DC,涵蓋無損 GPU fabric、儲存網路、租戶前端網路與帶外管理,全部納入單一支援合約。

64 × 800GTomahawk 5 交換器,用於 GPU fabric
16,384顆 GPU,最大參考設計規模
900+家業者採用 OcNOS

一台 GPU 伺服器,四個網路

GPU 雲端中的每台伺服器都連接四個網路:GPU 後端 fabric、儲存、租戶前端與管理。OcNOS-DC 可執行全部四個網路,因此一個團隊即可在整個雲端維運同一個軟體系列。

選擇一個網路,查看它承載的流量

一台 GPU 伺服器連接四個網路:GPU 後端 fabric、儲存、租戶前端與帶外管理 Spine Spine Rail leaf Rail leaf GPU 後端 fabric 儲存 leaf 儲存 租戶 前端 leaf 租戶前端 管理 帶外,1G GPU 伺服器 GPU NIC 儲存 NIC 前端 NIC BMC

GPU 後端。 GPU 集合通訊執行在獨立的路由 fabric 上。基於三層的 PFC 與 ECN 讓 RoCEv2 流量保持無損,動態負載平衡將 flowlet 移到負載較輕的上行鏈路。Tomahawk 5 交換器提供 64 × 800G。

示意圖。

訓練與推論對網路的要求各不相同

Neocloud 兩者兼顧。訓練以穩定、同步的流量填滿少數幾個大型叢集。推論流量分散在眾多站點,並以突發方式到達。

訓練與推論對比,依決定 fabric 的網路指標逐項列出。
網路所面對的 訓練AI 工廠 推論即時服務
分布少數幾個大型 GPU 叢集眾多區域與邊緣站點
流量大批量、同步的 GPU 到 GPU 集合通訊小而對延遲敏感的請求
負載特徵長時間保持接近滿載的 GPU 使用率突發且彈性,數秒內激增
網路必須做到在持續頻寬下保持無損低延遲,且每一層都備援

OcNOS-DC 在 GPU 雲端中執行哪些功能

各網路所依賴的功能,取自 OcNOS 功能矩陣。

能力它的作用適用範圍
基於三層的 PFC 與 ECN在路由 fabric 上實現無損 RoCEv2,並在流量類別之間執行 ETS所有 OcNOS-DC
動態負載平衡將 flowlet 移到負載較輕的上行鏈路部分交換器
PFC 死鎖偵測與恢復偵測停滯的優先權佇列並將其恢復部分交換器
EVPN-VXLAN基於 VXLAN 的二層 EVPN,每個租戶一個 VRF 與多個 VNITrident 3 與 4
租戶限制每租戶 MAC 限制與 route-target 過濾部分交換器
基於 VXLAN 的 PFC 與 ECNEVPN-VXLAN fabric 上的無損儲存流量部分交換器
MLAG 與 EVPN 多歸屬MLAG 採用 active/active 模式;EVPN 採用 single-active 或 port-active 模式部分交換器
交換器內建相干光模組站點之間的 400G 與 800G ZR 及 OpenZR+ 鏈路部分交換器
管理 VRF 與 ZTP帶外管理與零接觸配置所有 OcNOS-DC

支援情況依交換器型號與授權而異。 請查閱 OcNOS 功能矩陣。

依網路區分的交換器

每個網路使用適合其流量的交換器,全部執行 OcNOS-DC。

Edgecore AIS800-64D switch

GPU fabric spine 與 leaf

Edgecore AIS800-64D

Tomahawk 5 · 51.2 Tbps

64 × 800G

Edgecore AS9736-64D switch

400G GPU rail leaf

Edgecore AS9736-64D

Tomahawk 4 · 25.6 Tbps

64 × 400G

UfiSpace S9300-32D switch

前端與儲存 leaf

UfiSpace S9300-32D

Trident 4 · 12.8 Tbps

32 × 400G

UfiSpace S6301-56ST switch

帶外管理

UfiSpace S6301-56ST

Trident 3 · 120 Gbps

48 × 1G、8 × 10G

OcNOS on open switches carries the AI fabric at 40 to 60% lower hardware cost ,在相當的埠速率與 radix 下低於專有平台。 了解無損 AI fabric 的運作方式。 在 OcNOS 硬體相容性清單中查看經認證交換器的完整清單。

關於 neocloud 網路的問題。

neocloud 與 GPU 雲端服務商的 AI 需要什麼樣的網路?
四個網路:用於 GPU 集合通訊的路由式無損後端 fabric、儲存網路、客戶存取其 GPU 的前端網路,以及帶外管理。OcNOS-DC 在經認證的交換器上執行全部四個網路。
一個平台能否同時支援 AI 訓練與推論?
可以。同一 OcNOS-DC 系列既執行訓練所需的無損 GPU fabric,也執行推論所用的前端與儲存網路,因此一個團隊即可在整個雲端維運同一套軟體。交換器依角色選型。
GPU 雲端如何隔離不同客戶?
在前端網路上,EVPN-VXLAN 為每個租戶提供專屬的 VRF 與 VNI,並支援每租戶 MAC 限制與 route-target 過濾。這些功能執行在 Trident 3 與 Trident 4 交換器上;支援情況因交換器型號而異,請查閱 OcNOS 功能矩陣。
當鏈路或交換器發生故障時,fabric 如何維持推論可用?
BFD 偵測鏈路故障,BGP ECMP 將流量移到其餘路徑。MLAG 以 active/active 模式將伺服器連接到一對交換器。在 EVPN-VXLAN 前端 leaf 上,EVPN 多歸屬以 single-active 或 port-active 模式將伺服器連接到兩台 leaf。
如何評估用於 AI 訓練與推論的網路廠商?
確認每台交換器已針對您計畫執行的軟體,依型號與 ASIC 步進版本完成認證。確認您所需的功能已列明支援該交換器,並了解由誰為交換器與軟體提供支援。IP Infusion 為每個平台發布 OcNOS 功能矩陣,並以單一合約同時支援交換器與軟體。
neocloud 如何連接各個站點?
受支援的 OcNOS-DC 交換器可在連接埠上使用相干光模組:AS9736-64D、AS9726-32DB 與 S9300-32D 支援 400G ZR 及 OpenZR+;AIS800-64D 與 S9321-64E 支援 800G ZR 及 OpenZR+。更長距離的鏈路,請參閱 OcNOS-SP 路由器上的 IP over DWDM。

規劃您的 GPU 雲端網路。

告訴我們您的 GPU 規模、租戶與站點。IP Infusion 工程師將把每個網路對應到經認證的交換器。