為 GPU 叢集打造的無損 800G 乙太網路 fabric
IP Infusion 交付完整的 AI fabric：經驗證的 800G 與 400G 交換器預載 OcNOS-DC，具備無損 RoCEv2、動態負載平衡以及 PFC 死鎖偵測與恢復，由單一支援合約涵蓋。NIC、GPU 與交換器供應商仍由您自行選擇。
GPU fabric 必須做對的事
AI fabric 是連接 GPU 伺服器的乙太網路。它必須無遺失地承載 RoCEv2 流量，並讓每條鏈路保持忙碌，因為一個遺失的封包就會讓集合通訊在 NIC 重送期間停滯，一條壅塞的鏈路就會拖慢整個訓練作業。
有三種流量模式會讓訓練作業停滯。OcNOS-DC 針對每一種都有解決方式。
相同的流量，相同的四條上行鏈路。差別在於資料流如何分配。
靜態 ECMP 依雜湊將每條大型資料流固定在一條上行鏈路，結果兩條上行鏈路壅塞，另外兩條幾乎閒置。
DLB 依即時連接埠負載與佇列深度為每條上行鏈路評分，並將 flowlet 移往負載較低的路徑，讓負載趨於平均。
示意圖。
→ DLB 將 flowlet 從壅塞的上行鏈路移往負載較低的路徑。
→ ECN 標記 在緩衝區填滿前通知支援 DCQCN 的 NIC 降速。
→ PFC 死結恢復 可自動清除卡住的佇列。
GLB 將於 OcNOS 7.1 推出，可在整個 fabric 範圍內平衡負載。 關於 GLB →
每張 GPU NIC 各自獨佔一條 rail
每台 GPU 伺服器分別以一張 NIC 接到八台 rail leaf。同 rail 的 AllReduce 流量留在所屬 leaf；只有跨 rail 流量才會抵達 800G Tomahawk 5 spine。pod 可在同一批交換器上擴充。
參考設計以 1,024-GPU 的軌道最佳化建置為例，逐項說明拓撲、交換器數量、鏈路、光模組，以及依距離區分的佈線。
技術摘要
OcNOS-DC 在 fabric 中執行的功能。點選連結查看深入說明。
| 領域 | OcNOS-DC | 深入說明 |
|---|---|---|
| 無損傳輸 | RoCEv2，支援依優先順序的 PFC、ECN 標記與 ETS。支援跨路由邊界的 PFC over L3。 | RoCEv2 → |
| 壅塞控制 | 為支援 DCQCN 的 NIC 提供 ECN 標記，Tomahawk 5 上支援 Dynamic ECN。交換器封包緩衝區調校。 | DCQCN → |
| 負載平衡 | Tomahawk 4 與 5 上的動態負載平衡（DLB），支援 RoCEv2 目的地 QP 雜湊；Tomahawk 5 上支援 Reactive Path Rebalance。GLB 將於 OcNOS 7.1 推出，把負載平衡延伸至整個 fabric。 | DLB → |
| 死結保護 | PFC 死結偵測與復原。 | PFC 死結 → |
| 伺服器設定 | DCBX 將無損設定推送至伺服器。 | |
| 遙測 | 基於 OpenConfig 模型的 gNMI 串流遙測：on-change、dial-in 與 dial-out。 | 遙測 → |
| 自動化 | 支援 IPv4 與 IPv6 的 ZTP。從 Day 0 到 Day 2 的 Ansible playbook。IP Maestro 透過 NETCONF 管理。 | 自動化 → |
| 拓撲 | Rail-only、軌道最佳化兩層，以及軌道最佳化三層。 | 拓撲 → |
| 規模 | 兩層可達 4,096 顆 GPU，於 Tomahawk 5 上每顆 GPU 800G。三層可達 16,384 顆 GPU。 | 規模規劃 → |
| Ultra Ethernet | IP Infusion 是 Ultra Ethernet Consortium 的成員。 | UEC → |
依 GPU 數量規劃規模
選擇叢集規模，查看所需的 fabric。接著在 Design Suite 中規劃您自己的規模，並產生物料清單。
256 顆 GPU
- 8
- 葉交換機
- 4
- 台 spine
- 12
- 台交換器
兩層
1,024 顆 GPU
- 32
- 葉交換機
- 16
- 台 spine
- 48
- 台交換器
兩層
4,096 顆 GPU
- 128
- 葉交換機
- 64
- 台 spine
- 192
- 台交換器
兩層，Tomahawk 5 上的上限
16,384 顆 GPU
- 512
- 葉交換機
- 256
- 台 spine
- 128
- 台 super-spine
- 896
- 台交換器
三層
基於 Tomahawk 5 的軌道最佳化參考設計。每個 1,024 顆 GPU 的 pod 為 1:1 無阻塞；16,384 顆 GPU 的設計採用約 2:1 的 super-spine。
經過驗證的 800G 與 400G 交換器
來自 Edgecore 與 UfiSpace 的 Tomahawk 5 spine 與 Tomahawk 4 leaf。
Edgecore AIS800-64D
64 x 800G · 51.2 Tbps
QSFP-DD800 · 分接為 2x400G / 4x200G / 8x100G
UfiSpace S9321-64E
64 x 800G · 51.2 Tbps
QSFP-DD800 · 分接為 2x400G / 4x200G / 8x100G
Edgecore AS9736-64D
64 x 400G · 25.6 Tbps
QSFP56-DD 400G · 分接為 4x100G / 4x25G · DAC / AOC
一套系統，一份合約
單一支援管道
OcNOS-DC 依交換器型號與 ASIC 步進預先安裝並完成認證。一份 PO、一份支援合約、單一 RMA 路徑。P1 回應時間從 8 小時（Standard）到 30 分鐘（Enterprise）。
查看支援詳情將設計帶給您的團隊
簡短的 PDF。填寫簡短表單後即開始下載。
常見問題
Plan your GPU fabric with our engineers
Bring your design questions to an IP Infusion engineer, or take the reference design to your team.
以 OcNOS 設計整套 AI 網狀架構
從商業論證到埠數計算，無論您的建置進行到哪個階段，都能從此接續。
AI Fabric參考設計
快速表單。提交後立即打開 PDF。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
OcNOS 800G 乙太網無損 AI 網路
簡短表單。提交後 PDF 將立即開始下載。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
EVPN-VXLAN 資料中心網路
簡短表單。提交後 PDF 將立即開始下載。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
基於 IPoDWDM 的下一代 DCI
簡短表單。提交後 PDF 將立即開始下載。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
OcNOS-DC 規格書
簡短表單。提交後 PDF 將立即開始下載。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
需要我們主動與您聯繫嗎？
留下您的聯絡資料，IP Infusion 團隊成員將很樂意協助您設計 AI 網路交換架構。我們只會在您希望的情況下與您聯繫。