AI fabric 拓撲：可達 16K GPU 的 rail 最佳化設計
依 GPU 數量選擇拓撲：rail 最佳化的兩層 leaf-spine pod 最多可支援 4,096 個 GPU，其上再加第三層 super-spine 最多可達 16,384 個 GPU，並以相干 DCI 跨站點互連。 選擇能在集合通訊期間讓每顆 GPU 的鏈路皆保持滿載的最小無阻塞設計。這三種設計皆在 OcNOS-DC 上運行，架構於無損 RoCEv2（PFC + ECN）的 L3 網狀架構之上，此處以 Broadcom Tomahawk 4 與 Tomahawk 5 的具體埠數估算。
符合您 GPU 數量的最小無阻塞設計
AI fabric 拓撲只有一個任務：在集合通信期間讓每個 GPU 的出向鏈路保持飽和，同時不產生尾延遲離群值。合適的拓撲是能為您的 GPU 數量做到這一點的最小拓撲，並為更大一檔規模保留回退路徑。三個參考點，附 Broadcom Tomahawk 晶片上的具體埠測算。
雙層 leaf-spine 在每 GPU 800G 下可達 4,096 個 GPU；1,024 個 GPU 的構建為 32 臺 leaf 和 16 臺 spine，共 48 臺交換器。超過 4,096 個 GPU 後，增加 super-spine 層。每一層都執行 OcNOS-DC，並採用符合其角色的版本，因此 fabric 隨叢集橫向擴展，而無需在每一步重新設計。
正在為自己的叢集進行容量規劃？ AI 網路設計套件 可快速給出初步估算：它為無阻塞雙層 leaf-spine pod 設定規格，並在您跨入三層規模時給出提示。下方參考設計使用相同的無阻塞 leaf/spine 計算，並在 4,096 個 GPU 以上增加 super-spine 層，因此交換器數量與該工具一致。這裡的 rail 最佳化是指 8-NIC GPU 伺服器的布線原則（每臺 leaf 對應一個 rail，使 rail 內 AllReduce 留在 leaf 上），疊加在該無阻塞 fabric 之上：它改變的是流量局部性，而非交換器數量。粗略估算用工具，實際構建用這些設計。
雙層 pod、三層 fabric 與相干 DCI
三種參考拓撲涵蓋單一 pod、多 pod 與多站點 AI fabric，皆依 HCL 所列的 Broadcom 硬體規劃規模。
軌道最佳化單一 Pod
每台 GPU 伺服器的 8 個 NIC 分別連接至 8 個專屬的軌道葉節點，因此同 rail 的 AllReduce 始終留在一台 leaf 上，絕不穿越 spine。無阻塞 spine 承載跨 rail 流量。這是單 pod 可擴展單元，在 Tomahawk 5 上最多 4,096 個 GPU。
三層 rail 最佳化 fabric
葉、主幹與 超級脊 層級使 fabric 超越 4,096 個 GPU，在參考設計中達到 16,384 個。每個 pod 內部無阻塞，由 super-spine 平面設定跨 pod 收斂比。每一跳均採用 DLB，GLB 在 OcNOS 7.1 中實現端到端。
相干多資料中心 DCI
當一次訓練作業跨越多個資料機房時，可透過 400G 或 800G ZR / ZR+ 同調光學模組 ，置於 spine 上。站點之間無需轉發器即可實現 DCI，站內 fabric 保持不變。
軌道最佳化單一 Pod
每台 GPU 伺服器配備 8 個 NIC，每個軌道一個（一條專屬的 xCCL（NCCL / RCCL / oneCCL）集體通訊通道）。每個軌道都是各自專屬的葉節點，因此每台伺服器的 8 個 NIC 都會連接到不同的葉節點。跨軌道 N 的 AllReduce 會留在葉節點 N 之內，因此在主要的集體通訊模式下，主幹不會承受東西向流量壓力。
OcNOS 組件： BGP-unnumbered L3 underlay，每臺 leaf 上執行無損 RoCEv2（PFC + ECN），spine 層採用 DLB。構建於 HCL 收錄的硬體之上：從 256-GPU pod 到 4,096-GPU 雙層上限，每一層都採用 TH5 64x800G 的 leaf 和 spine（Edgecore AIS800-64D 或 UfiSpace S9321-64E），以 128x400G 執行，使每個 GPU 接入兩個 400G leaf 埠。Tomahawk 4（Edgecore AS9736-64D，64x400G）適用於每個 GPU 配備一塊 400G NIC 的 fabric。
三層 rail 最佳化 fabric：4,096 個 GPU 以上
Tomahawk 5 上的雙層 rail 最佳化 pod 在每 GPU 800G 下最多 4,096 個 GPU，此時 spine 埠耗盡。超出後，同樣的 rail 最佳化設計增加第三層：leaf、spine、super-spine。任意兩個 GPU 之間最多相隔四個交換器跳，同 leaf 和同 pod 的對端則更近。
Clos 上的難點在於把流量均勻分散，使任何鏈路都不成為熱點。方法從每流 ECMP、到動態負載平衡、再到逐封包噴灑不等，後者正是 Ultra Ethernet 採用的模型，由 NIC 處理亂序重排。另有一類做法，即 Broadcom DDC 等基於信元的排程式 fabric，把流量切分為信元並在 fabric 內部進行排程。OcNOS 以 DLB 保持 GPU 平面平衡，並於 OcNOS 7.1 加入全 fabric 的 GLB。
此圖為示意圖：繪製的層級數量有所簡化。16,384-GPU 構建在 TH5 800G 上為 512 臺 leaf / 256 臺 spine / 128 臺 super-spine。
OcNOS 組件： eBGP-unnumbered L3 底層網路、RoCEv2 無損（PFC + ECN）、每一層皆採用 DLB、於 OcNOS 7.1 提供端到端 GLB，並以 gNMI 串流遙測傳送至您的可觀測性堆疊。全程建構於 HCL 列名的 TH5 64x800G 機箱之上。
超額配置比率是可調整的參數，而非固定不變的規則。 這些數量讓每個 1,024-GPU pod 達到 1:1 無阻塞，並對跨 pod 流量採用成本最佳化的約 2:1 super-spine，這正是超大規模乙太網路 fabric 所依賴的 rail 最佳化做法（已公開的大規模設計對頂層的超額訂閱要高得多，因為集合通信流量留在 pod 內部）。想要最大化的任意到任意餘量？完全無阻塞的 1:1 構建在 16,384 個 GPU 時為 512 / 512 / 256；只有 spine 和 super-spine 的數量發生變化。兩種方案均可在以下工具中建模： AI 網路設計套件.
多資料中心 AI 網路：相干 DCI
當一次訓練作業跨越多個機房時，fabric 會跨 WAN 延伸。OcNOS-DC 支援直接在 spine 上使用同調光模組，實現跨站點、免轉發器的 DCI：在 Tomahawk 4 和 Trident 4 交換器上支援 400G ZR 和 OpenZR+，在 Tomahawk 5 的 Edgecore AIS800-64D 和 UfiSpace S9321-64E 上支援 800G ZR 和 OpenZR+。各站點內部的 fabric 保持不變。
OcNOS 組件： 在具備 DWDM 能力的主幹或邊界葉節點連接埠上採用 400G 或 800G ZR/ZR+ 可插拔同調光學模組，並跨站點提供 gNMI 遙測。無需外接轉頻器。傳輸距離：400ZR 在放大後約可達 120 km；OpenZR+ 透過 oFEC 可傳輸更遠。
設計經驗法則
無論您以哪一種參考設計為基礎，幾條簡單的規則就能讓 AI 網路維持在效能與成本曲線的正確一側。
- 使拓撲與 GPU 數量相匹配。 最小規模 pod（不超過單臺 leaf 的 NIC 基數）：僅用 rail-only 即可。單 pod 規模，在 Tomahawk 5 上最多 4,096 個 GPU：採用 rail 最佳化的 leaf-spine。超出後：在同樣的 rail 最佳化設計上增加 super-spine 層，pod 保持無阻塞，跨 pod 收斂比按工作負載設定。
- AI 平面始終保持 1:1 訂閱比。 儲存與 CPU 機架可承受更高的超額訂閱比率。GPU 平面則不應如此。
- 軌道數應依據 xCCL 規劃,而非布線便利。 對於配備 8 個 NIC 的 GPU 伺服器而言，8 條軌道是目前的實質標準。請勿將多條軌道合併至較少的葉節點。
- 按功耗和密度選擇晶片，而非按品牌標識。 TH4（25.6T）和 TH5（51.2T）是主力晶片；二者之間的取捨在於機架功耗和 breakout 線纜成本。
- 對照 HCL 進行驗證。 此處的每個參考方案均構建於所列硬體之上，詳見 OcNOS 硬體相容性清單；從那裡開始即可獲得一流支持。
AI 網路拓撲常見問題
什麼是軌道最佳化拓撲，它與純軌道（rail-only）拓撲有何不同？
AI fabric 何時需要第三層？
我應該使用 Tomahawk 4 還是 Tomahawk 5？
我需要 InfiniBand，還是 Ethernet 就已足夠？
向上擴充（scale-up）在哪裡結束，向外擴充（scale-out）又從何開始？
深入了解，隨身帶走。
產品規格書，以及內容比本頁更為深入的簡明技術下載資料。
OcNOS-DC 規格書
完整的 OcNOS-DC 規格：EVPN-VXLAN 與 Ethernet for AI 功能集、軟體 SKU、支援的硬體平台，以及解決方案訂購指南。
取得規格書OcNOS 800G 無損 AI Fabric
基於 Tomahawk 5 spine 的無損 RoCEv2 fabric：SKU 等級、經認證的平台與部署架構。
取得簡報EVPN-VXLAN 資料中心網路
基於 EVPN-VXLAN 的 leaf-spine 資料中心 fabric：每租戶一個 VRF 與多個 VNI、EVPN 多歸屬、BGP unnumbered 與 route-target 過濾。
取得簡報OcNOS-DC 規格書
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
OcNOS 800G 無損 AI Fabric
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
EVPN-VXLAN 資料中心網路
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
正在設計您的 AI fabric？我們與您一起完成埠數量的測算。
只要告訴我們工作負載與 GPU 規模，IP Infusion 的工程師就會與您一同規劃葉、主幹與超級主幹各層的規模，或者您也可以先在 AI Fabric Design Suite 中建立初步的配置。
以 OcNOS 設計整套 AI 網狀架構
從商業論證到埠數計算，無論您的建置進行到哪個階段，都能從此接續。