為 GPU 叢集打造的無損 800G 乙太網路 fabric
OcNOS AI Fabric 是 IP Infusion 提供的完整 AI fabric：在 Edgecore 或 UfiSpace 經過認證的 800G 與 400G Broadcom Tomahawk 交換器上預載 OcNOS-DC，提供無損 RoCEv2、動態負載平衡，以及 PFC 死結偵測與復原，並由一份支援合約涵蓋。NIC 與 GPU 仍由您自行選擇。
- 最適用於
- 以無損 800G 或 400G 乙太網路建構 GPU 叢集、可自由選擇 NIC 與 GPU 的團隊。
- 認證機型
- Edgecore AIS800-64DUfiSpace S9321-64EEdgecore AS9736-64D
GPU fabric 必須做對的事
AI fabric 是連接 GPU 伺服器的乙太網路。它必須無遺失地承載 RoCEv2 流量，並讓每條鏈路保持忙碌，因為一個遺失的封包就會讓集合通訊在 NIC 重送期間停滯，一條壅塞的鏈路就會拖慢整個訓練作業。
有三種流量模式會讓訓練作業停滯。OcNOS-DC 針對每一種都有解決方式。
相同的流量，相同的四條上行鏈路。差別在於資料流如何分配。
靜態 ECMP 依雜湊將每條大型資料流固定在一條上行鏈路，結果兩條上行鏈路壅塞，另外兩條幾乎閒置。
DLB 依即時連接埠負載與佇列深度為每條上行鏈路評分，並將 flowlet 移往負載較低的路徑，讓負載趨於平均。
示意圖。
→ DLB 將 flowlet 從壅塞的上行鏈路移往負載較低的路徑。
→ ECN 標記 在緩衝區填滿前通知支援 DCQCN 的 NIC 降速。
→ PFC 死鎖偵測與恢復 可自動清除卡住的佇列。
GLB 將於 OcNOS 7.1 推出，可在整個 fabric 範圍內平衡負載。 關於 GLB →
每張 GPU NIC 各自獨佔一條 rail
每台 GPU 伺服器分別以一張 NIC 接到八台 rail leaf。同 rail 的 AllReduce 流量留在所屬 leaf；只有跨 rail 流量才會抵達 800G Tomahawk 5 spine。pod 可在同一批交換器上擴充。
一個 1,024-GPU 的 rail-optimized 網路，逐台交換器詳解：連接埠計算、元件數量、擴展至 4,096 GPU 及更大規模、平台與 OcNOS-DC 版本，以及 RoCEv2 無損起始設定。
技術摘要
OcNOS-DC 在 fabric 中執行的功能。點選連結查看深入說明。
截至 OcNOS-DC 7.0。資料來源（2026 年 10 月核對）：OcNOS 功能矩陣（資料中心平台）、硬體相容性清單與 AI Fabric 參考設計。
| 領域 | OcNOS-DC | 深入說明 |
|---|---|---|
| 晶片 | OcNOS AI Fabric 目前支援 Broadcom Tomahawk 5 與 Tomahawk 4 作為 AI leaf 與 spine。Tomahawk 6 支援預計於 OcNOS 7.2 提供。資料來源：硬體相容性清單、Tomahawk 6 頁面 | 晶片 → |
| 無損傳輸 | RoCEv2，支援依優先順序的 PFC、ECN 標記與 ETS。支援跨路由邊界的 PFC over L3。資料來源：功能矩陣（PFC with QoS、PFC over L3、ECN、ETS） | RoCEv2 → |
| 壅塞控制 | 為支援 DCQCN 的 NIC 提供 ECN 標記，Tomahawk 5 上支援 Dynamic ECN。交換器封包緩衝區調校。資料來源：功能矩陣（ECN、Dynamic ECN、交換器封包緩衝區調校） | DCQCN → |
| 負載平衡 | Tomahawk 4 與 5 上的動態負載平衡（DLB），支援 RoCEv2 目的地 QP 雜湊；Tomahawk 5 上支援 Reactive Path Rebalance。GLB 將於 OcNOS 7.1 推出，把負載平衡延伸至整個 fabric。資料來源：功能矩陣（DLB、DLB Reactive Path Rebalance）、OcNOS-DC 系統管理指南、GLB 頁面 | DLB → |
| 死結保護 | PFC 死結偵測與復原。資料來源：功能矩陣（PFC 死結偵測與復原） | PFC 死結 → |
| 伺服器設定 | DCBX 透過 LLDP 與鏈路對端交換 PFC 和 ETS 設定。資料來源：功能矩陣（DCBX、用於 PFC over L3 的 DCBX） | |
| 遙測 | 基於 OpenConfig 模型的 gNMI 串流遙測：on-change、dial-in 與 dial-out。資料來源：功能矩陣（gNMI dial-in、dial-out 與 on-change，OpenConfig 模型） | 遙測 → |
| 自動化 | 支援 IPv4 與 IPv6 的 ZTP。從 Day 0 到 Day 2 的 Ansible playbook。IP Maestro 透過 NETCONF 管理。資料來源：功能矩陣（基於 IPv4 與 IPv6 的 ZTP、Ansible、NETCONF） | 自動化 → |
| AI 代理 | gNMI 遙測、採用 YANG 模型的 NETCONF，以及具備自動還原的 commit confirmed，讓 AI 代理與 AIOps 工具能讀取、變更與還原網路架構。資料來源：功能矩陣（NETCONF confirmed commit、CLI commit confirmed） | AI 代理 → |
| 拓撲 | Rail-only、軌道最佳化兩層，以及軌道最佳化三層。資料來源：AI Fabric 參考設計（2026 年 10 月） | 拓撲 → |
| 規模 | 兩層可達 4,096 顆 GPU，於 Tomahawk 5 上每顆 GPU 800G。三層可達 16,384 顆 GPU。 Reference-design ceilings from Clos radix math, not measured figures.資料來源：AI Fabric 參考設計（2026 年 10 月） | 規模規劃 → |
| Ultra Ethernet | IP Infusion 是 Ultra Ethernet Consortium 的成員。資料來源：Ultra Ethernet 頁面 | UEC → |
跨域擴展：一個 GPU 叢集，分布於多棟建築
大型 GPU 叢集所需電力已超出單棟建築的供電能力，因此營運商將多棟建築和多個站點中的網路連接為一個叢集。OcNOS-DC 執行各站點的 spine，OcNOS-SP 執行區域之間的深緩衝路由器。
直接插入 spine 埠的同調光模組
在經認證的 Tomahawk 4 和 Trident 4 交換器上，OcNOS-DC 支援 400G ZR/ZR+。在 Tomahawk 5 的 Edgecore AIS800-64D 和 UfiSpace S9321-64E 上，支援 800G ZR/ZR+。spine 直接連接 OLS / ROADM，無需轉發器或 muxponder 機架。
同調 DCI 的運作原理路由鏈路上的壅塞訊號
ECN 標記在全部 18 款經認證的 OcNOS-DC 交換器的路由介面上執行，因此支援 DCQCN 的網路卡可以偵測建築之間路由鏈路上的壅塞。BGP 工作階段上的 BFD 可偵測路徑故障。
DCQCN 的運作原理區域之間的深緩衝路由器
在區域之間，OcNOS-SP 執行於具備 SR-MPLS、EVPN 和 BGP 的深緩衝 Jericho 2C+ 與 Qumran 2C 路由器上。七款 OcNOS-SP 路由器支援 400G ZR/ZR+。
依平台查看 ZR 支援OcNOS AI Fabric 不涵蓋的內容
了解這些邊界，有助於您規劃叢集的其餘部分。
- InfiniBand
- 這是一個 Ethernet fabric，不交換 InfiniBand 流量。
- 集合通訊
- 它負責交換器端。集合通訊函式庫（xCCL：NCCL、RCCL 或 oneCCL）與 RDMA 端點在 NIC 與主機上執行，工作由叢集排程器安排。
- 縱向擴展（scale-up）
- 它連接伺服器。伺服器或機櫃內部的 GPU 間鏈路（縱向擴展鏈路）不在 fabric 範圍內。
- Ultra Ethernet
- 目前執行 RoCEv2。Ultra Ethernet 傳輸在支援 UEC 的 NIC 上執行。IP Infusion 是 Ultra Ethernet Consortium 的成員。
- Tomahawk 6 與 GLB
- 目前尚不支援 Tomahawk 6。OcNOS-DC 對其的支援預計於 OcNOS 7.2 提供。GLB 將於 OcNOS 7.1 推出。
- 僅限 Tomahawk 5
- Dynamic ECN 與 Reactive Path Rebalance 僅在 Tomahawk 5 交換器上執行。
- GPU 數量
- 本頁的 GPU 數量是根據 Clos 基數計算得出的參考設計上限，並非實測數據。GPU 端的光模組與纜線不計入。
依 GPU 數量規劃規模
選擇叢集規模，查看所需的網路。接著在 Design Suite 中規劃您自己的網路，包括鏈路、光模組和纜線數量。
- 16 台 spine，每台 64 × 800G。
- 32 台 leaf，每台 32 × 800G 下行（每個 GPU 拆分為 2 × 400G）與 32 × 800G 上行。
- 128 台伺服器，每台 8 個 GPU 與 8 個 NIC。
1,024 顆 GPU
- 32
- 葉交換器
- 16
- 台 spine
- 48
- 台交換器
兩層
4,096 顆 GPU
- 128
- 葉交換器
- 64
- 台 spine
- 192
- 台交換器
兩層，Tomahawk 5 上的上限
16,384 顆 GPU
- 1:1
- 每個 pod
- ~2:1
- 超級脊
三層架構，參考設計上限。每種設計的交換器數量，可諮詢 IP Infusion 工程師。
基於 Tomahawk 5 的 rail-optimized 參考設計。GPU 數量是根據 Clos 基數計算得出的參考設計上限，並非實測數據。
已認證的 800G 和 400G 交換器
來自 Edgecore 和 UfiSpace 的 Tomahawk 5 leaf 與 spine，以及一款 Tomahawk 4 leaf。
Edgecore AIS800-64D
64 x 800G · 51.2 Tbps
QSFP-DD800 · 分接為 2x400G / 4x200G / 8x100G
UfiSpace S9321-64E
64 x 800G · 51.2 Tbps
QSFP-DD800 · 分接為 2x400G / 4x200G / 8x100G
一套系統，一份合約
單一支援管道
OcNOS-DC 依交換器型號與 ASIC 步進預先安裝並完成認證。一份 PO、一份支援合約、單一 RMA 路徑。P1 回應時間從 8 小時（Standard）到 30 分鐘（Enterprise）。
查看支援詳情將設計帶給您的團隊
簡短的 PDF。填寫簡短表單後即開始下載。
常見問題
以 OcNOS 設計整套 AI 網狀架構
從商業論證到埠數計算，無論您的建置進行到哪個階段，都能從此接續。
AI Fabric參考設計
快速表單。提交後立即打開 PDF。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
OcNOS 800G 乙太網無損 AI 網路
簡短表單。提交後 PDF 將立即開始下載。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
EVPN-VXLAN 資料中心網路
簡短表單。提交後 PDF 將立即開始下載。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
基於 IPoDWDM 的下一代 DCI
簡短表單。提交後 PDF 將立即開始下載。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
OcNOS-DC 規格書
簡短表單。提交後 PDF 將立即開始下載。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
需要我們主動與您聯繫嗎？
留下您的聯絡資料，IP Infusion 團隊成員將很樂意協助您設計 AI 網路交換架構。我們只會在您希望的情況下與您聯繫。