適用於 AI 網狀架構的軌道最佳化網路拓撲
軌道最佳化網路將每台配備 8 張網卡的 GPU 伺服器中的一張網卡放置於 8 條軌道的其中一條上，並讓每條軌道成為自身專屬的 leaf，因此佔主導地位的軌道內 AllReduce 得以留在單一 leaf 上，永不觸及 spine。 這是一套佈線與流量區域性的原則，而非減少 spine 數量的手段：spine 維持 1:1 無阻塞，且僅承載跨軌道的剩餘流量。建構於 OcNOS-DC 之上，透過無損 RoCEv2 執行於 Broadcom Tomahawk 5。
軌道最佳化的意涵，以及它與純軌道的差異
現代 GPU 伺服器出貨時配備 8 張網卡。一條軌道是從每台伺服器取出的一個網卡位置：每台伺服器的 NIC-1 構成 rail-1，依此類推至 rail-8。軌道最佳化將每條軌道歸屬於自身專屬的 leaf，因此每台伺服器都有一條連往 8 個軌道 leaf 各一的鏈路。
回報就是區域性：xCCL 函式庫將佔主導地位的 AllReduce 排程於單一軌道內，且由於該軌道即為一個 leaf，流量從不離開該 leaf。只有較小的跨軌道剩餘流量才會抵達 spine。軌道最佳化是一套佈線與流量區域性的原則，而非縮減 spine 的方法，spine 維持 1:1 無阻塞。
- 僅軌道 保留軌道對齊的 leaf，但捨棄 spine 層，因此跨軌道流量倚賴伺服器內的 GPU 縱向擴充網域，而非網路路徑。對於少數幾座機架較為便宜，但一旦叢集超出單一縱向擴充網域的規模，跨軌道流量便沒有網狀架構路由可用。
- 軌道最佳化 在軌道 leaf 之上加入 1:1 無阻塞的 spine，為跨軌道流量提供一條真正的網路路徑。它是標準的單一 pod 可擴充單元；純軌道則是位於其下的入門選項。
軌道對齊讓高負載的集合通訊維持在本地
分散式訓練以用於梯度同步的 AllReduce 等集合通訊為主，透過 xCCL 函式庫（NCCL、RCCL、oneCCL）執行。軌道對齊將相同 rank 的 GPU 置於共用的 leaf 上，因此在常見情境下，這些集合通訊以最低的 hop 數完成，且無需經由 spine 轉送。這抑制了尾端延遲，而尾端延遲決定了同步步驟的節奏：唯有最慢的 GPU 完成其交換，該步驟才會結束。
最低 hop 數
相同 rank 的 GPU 共用一個 leaf，因此梯度同步交換以最少的 hop 完成。spine 僅承載跨軌道的剩餘流量。
更低的尾端延遲
同步步驟在最慢的交換結束時才結束。讓高負載的集合通訊遠離 spine，可修剪掉使整個工作停滯的長尾。
軌道最佳化網狀架構的佈局呈現
每台 GPU 伺服器配備 8 張網卡，每條軌道一張，且每條軌道皆為自身專屬的 leaf，因此一台伺服器上的全部 8 張網卡落在不同的 leaf 上。跨 rail-N 的 AllReduce 留在 leaf-N 內，永不觸及 spine；1:1 無阻塞的 spine 僅承載跨軌道的剩餘流量。此圖為示意圖：為維持軌道對齊的可讀性，繪製時縮減了伺服器與 spine 的數量。
OcNOS 組件： BGP-unnumbered L3 底層網路、每個軌道 leaf 上的 RoCEv2 無損（PFC + ECN）、spine 層的 DLB，以及全程的 gNMI/OpenConfig 遙測。建構於 HCL 清單所列的 Tomahawk 5 硬體上：Edgecore AIS800-64D 與 UfiSpace S9321-64E（64×800G）。
軌道最佳化、純軌道與 ToR，並列比較
選擇的關鍵在於網狀架構要對齊什麼。軌道佈局將每個 GPU rank 對齊至一個網路層，因此叢集中相同 rank 的 GPU 共用一個 leaf，集合通訊得以最低的 hop 數完成。ToR 佈局則對齊至伺服器：一台伺服器中的每張網卡都落在其機架交換器上，佈線較為簡單，但迫使不同機架中相同 rank 的 GPU 上行至 spine 再返回。對於以 AllReduce 為主的 GPU 訓練網狀架構，軌道對齊是標準做法；而對於流量並非 rank 同步的儲存與通用機架，ToR 仍是不錯的選擇。
| 屬性 | 軌道最佳化單一 pod 標準 | 僅軌道小型叢集入門 | 架頂式（ToR）按伺服器對齊 |
|---|---|---|---|
| 對齊方式 | 每個 GPU rank 對齊至一個網路層；每台伺服器的 NIC-N 歸屬於 leaf-N。 | 相同的軌道對齊：NIC-N 歸屬於軌道 leaf-N，但僅有單一列 leaf。 | 網路對齊至伺服器；伺服器中的每張網卡歸屬於自身的機架交換器。 |
| 脊層 | 軌道 leaf 之上的 1:1 無阻塞 spine。 | 無 spine 層；軌道 leaf 獨立運作。 | 機架交換器之上的標準 spine。 |
| 跨軌道路徑 | 一條穿越無阻塞 spine 的真正網路路徑。 | 倚賴伺服器內的 GPU 縱向擴充網域；一旦超出單一網域規模便無網狀架構路由。 | rank 同步的流量被推送至 spine。 |
| 集合通訊 hop 數 | 最低：相同 rank 的節點共用一個 leaf，因此軌道內 AllReduce 留在單一 leaf 上。 | 軌道內同樣偏低，因為軌道仍是一個 leaf。 | 較高：不同機架中相同 rank 的節點位於不同交換器上，因此集合通訊會穿越 spine。 |
| 最佳匹配 | 適用於 GPU 訓練與推論網狀架構的標準單一 pod 可擴充單元。 | 位於單一縱向擴充網域之下的少數幾座機架；入門選項。 | 流量並非 rank 同步的儲存、CPU 與通用機架。 |
軌道最佳化網狀架構的擴展極限
規模由交換器基數以及每個 800G 埠如何映射到 GPU 決定。在 Broadcom Tomahawk 5（51.2 Tbps，64×800G 或 128×400G）上，這些設計可從雙層 leaf-spine 一直擴展到帶 super-spine 的三層結構。由於多數集合通信流量留在 rail 本地，super-spine 平面只需按您實際所需的跨 pod 收斂比來設定規格。作為參考，Meta 曾公開描述過一個基於乙太網路的 24,576-GPU AI 訓練叢集，這表明乙太網路 fabric 的執行規模可遠超單個 pod。
雙層，1:1 無阻塞
每 GPU 800G 的 rail 最佳化 leaf-spine，每個 GPU 接入兩個 400G leaf 埠：128 臺 leaf，64 臺 spine。這是該晶片上最大的雙層 pod。
每 GPU 400G 的雙層設計
面向各配備一塊 400G NIC 的 GPU 的相同雙層設計。
三層，super-spine
超過 4,096 個 GPU 後，在 rail 最佳化 pod 之上增加一層 super-spine。每個 pod 保持 1:1 無阻塞；由 super-spine 設定跨 pod 收斂比。
正在為自己的叢集進行容量規劃？ AI 網路設計套件 為無阻塞雙層 leaf-spine pod 設定規格，並在您跨入三層規模時給出提示。要了解完整的拓撲全貌，請參見 AI fabric 拓撲 參考。
OcNOS-DC 如何建構軌道最佳化網狀架構
OcNOS-DC 將 HCL 清單所列的 Tomahawk 5 交換器，透過路由式底層網路、無損的 RoCEv2 基底、動態負載平衡與串流遙測，打造為軌道最佳化網狀架構。它是單一系統：經驗證的硬體、OcNOS-DC 網路作業系統，以及單一支援合約，配備單一 TAC 與單一 SLA。
BGP-unnumbered L3
採用 BGP unnumbered 的路由式底層網路免除了逐鏈路的位址規劃，並透過 ECMP 將流量分散至每一條軌道對 spine 的路徑。
搭配 PFC + ECN 的 RoCEv2
OcNOS-DC 提供 RoCEv2 所需的無損乙太網路基底：PFC 維持優先權無損，ECN 則標記壅塞。RoCEv2 本身是運行於該基底之上的網卡傳輸。
動態負載均衡
DLB 依即時的路徑品質而非靜態雜湊來分散大象流，因此跨軌道流量不會堆積在單一上行鏈路上，妥善運作的網狀架構在 Tomahawk 4/5 上可以超過 90% 的使用率為目標。
gNMI / OpenConfig
遙測以 OpenConfig 模型透過 gNMI 串流傳送，讓您在叢集啟用階段以閉迴路資料調校 fabric。
HCL 清單所列的 Tomahawk 5
執行於經驗證的 64×800G 交換器上：Edgecore AIS800-64D 與 UfiSpace S9321-64E。此處的每台 leaf 與 spine 皆列於 OcNOS 硬體相容性清單（HCL）中。
Ultra Ethernet Consortium 成員
IP Infusion 是 Ultra Ethernet Consortium（UEC）的成員。UEC 1.0 定義了一種將一條流分散到多條路徑上的多路徑乙太網路傳輸，執行於支援 UEC 的 NIC 上。
取得 AI Fabric 參考設計
完整 PDF：軌道最佳化拓撲、交換機和光模組數量、經過驗證的平台，以及 OcNOS-DC 上的 RoCEv2 無損初始配置。
取得 AI Fabric 參考設計
簡短表單：提交後 PDF 將立即開始下載。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
軌道最佳化網路常見問答
什麼是軌道最佳化網路？
軌道最佳化與純軌道有何差異？
軌道與 ToR：AI 網狀架構應採用哪種佈局？
軌道最佳化網狀架構可擴展至多少個 GPU？
軌道最佳化網路需要 InfiniBand 嗎？
OcNOS-DC 如何實作軌道最佳化網狀架構？
深入了解，隨身帶走。
產品規格書，以及內容比本頁更為深入的簡明技術下載資料。
OcNOS 800G 無損 AI Fabric
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
EVPN-VXLAN 資料中心網路
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
正在規劃軌道最佳化的 GPU 網狀架構？我們將與您一同計算連接埠數量。
告訴我們 GPU 規模與軌道數量，IP Infusion 工程師將與您一同規劃 leaf-spine pod 的規模；或先透過 AI Fabric Design Suite 取得初步佈局。
以 OcNOS 設計整套 AI 網狀架構
從商業論證到埠數計算，無論您的建置進行到哪個階段，都能從此接續。