軌道最佳化 · 三階 Clos · 相干 DCI

AI Fabric 拓撲：Rail-Optimized 與調度式設計

Q: 我應該使用 Tomahawk 4 還是 Tomahawk 5？

Both run OcNOS-DC. Tomahawk 4 (25.6 Tbps, 64×400G) is the cost-optimized choice for entry pods and 400G GPU NICs. Tomahawk 5 (51.2 Tbps, 64×800G) is the workhorse for 800G GPU servers and larger fabrics. Tomahawk 4 has no native 800G, so match the switch to your NIC speed.

Q: 我需要 InfiniBand，還是 Ethernet 就已足夠？

Ethernet is now a first-class AI-fabric transport. RoCEv2 with PFC and ECN delivers lossless RDMA today. Ultra Ethernet (UEC) removes the network-wide PFC dependency using endpoint packet-spray, selective retransmission, and link-level retry as UEC NICs ship. OcNOS-DC runs the RoCEv2 fabric today and is UEC-ready.

讓拓撲與 GPU 數量相匹配：軌道最佳化的葉脊式 pod 可支援至約 1,000 顆 GPU，三階 Clos 可達 16,000 顆以上，而相干 DCI 則用於橫跨站點。 選擇能在集合通訊期間讓每顆 GPU 的鏈路皆保持滿載的最小無阻塞設計。這三種設計皆在 OcNOS-DC 上運行，架構於無損 RoCEv2（PFC + ECN）的 L3 網狀架構之上，此處以 Broadcom Tomahawk 4 與 Tomahawk 5 的具體埠數估算。

預約架構評估開啟 AI fabric 設計套件

256 to 16k+GPU，單一設計體系

1:1無阻塞 GPU 層面

最高 800GTH5 葉與脊

1 imageOcNOS-DC，涵蓋每一層

按 GPU 數量選擇，而非按流行術語

符合您 GPU 數量的最小無阻塞設計

AI 網狀架構拓撲只有一項任務：在集合通訊期間讓每顆 GPU 的對外鏈路保持滿載，同時不產生尾端延遲的異常值。正確的拓撲，是能為您的 GPU 數量達成此目標、並具備通往下一級規模備援路徑的最小設計。四個參考點，並附 Broadcom Tomahawk 晶片上的具體埠數計算。

一套映像，涵蓋每一個規模層級

256 GPUs

入門級無阻塞 pod

在小型 spine 層之上部署一行軌道對齊 leaf。兩層摺疊式 Clos，1:1 無阻塞。

8 台葉交換器 · 4 台脊交換器 · TH4 · 400G

1,024 GPUs

軌道最佳化的兩層 pod

採用軌道對齊 leaf 加 1:1 無阻塞 spine。軌道內 AllReduce 保持在 leaf 上完成；跨軌道流量經由 spine。標準的單 pod 可擴展單元。

32 台葉交換器 · 16 台脊交換器 · TH5 · 800G

4,096 GPUs

3 級 Clos

葉、脊、超級脊。每個 1,024 顆 GPU 的 pod 皆為 1:1 無阻塞；超級脊層面則跨 pod 擴展。每一層皆有 DLB；OcNOS 7.1 版本則具備端到端的 GLB。

128 台葉交換器 · 64 台脊交換器 · 32 台超級脊交換器 · TH5 · 800G

16,384 GPUs

規模化 3 級 Clos

帶有超級骨幹平面的多 Pod 三級 Clos。專為萬億參數訓練級別設計。

512 台葉交換器 · 256 台脊交換器 · 128 台超級脊交換器 · TH5 · 800G

在每顆 GPU 配置一個 800G 網狀架構埠的情況下，兩層葉脊式的上限約為 2,048 顆 GPU；超過此上限，即加入超級脊層。同一個 OcNOS-DC 映像檔運行於每一層，因此網狀架構得以隨叢集向外擴展，而無需在每一步都重新設計。

正在為自己的叢集進行容量規劃？ The AI Fabric Design Suite 可快速提供初步估算：它在假設每顆 GPU 配置一張網狀架構 NIC 的前提下，估算一個無阻塞的兩層葉脊式 pod，並在您跨入三層規模時提出提示。以下的參考設計採用相同的無阻塞葉/脊計算，並在大規模時將其延伸為三階 Clos，因此交換器數量與工具的結果一致。此處的軌道最佳化，是一種 8 NIC GPU 伺服器的佈線準則（每台葉交換器對應一條軌道，因此軌道內的 AllReduce 得以留在葉交換器上），疊加於該無阻塞網狀架構之上：它改變的是流量的區域性，而非交換器數量。用工具做概略估算；用這些設計來實際建置。

三種參考設計

軌道最佳化、排程式 Clos，以及相干 DCI

OcNOS-DC 依三種參考拓撲出貨，涵蓋單一 pod、多 pod 與多站點的 AI 網狀架構。每一種都是具體的建置，以列於 HCL 的 Broadcom 硬體估算，而非白板上的草圖。

參考設計 1

軌道最佳化單一 Pod

每台 GPU 伺服器的 8 個 NIC 分別連接至 8 個專屬的軌道葉節點，因此同軌道的 AllReduce 流量會留在單一葉節點上，永不需要穿越主幹。無阻塞的主幹則承載跨軌道的流量。單一 Pod 的可擴充單元，最多約可支援 1,000 個 GPU。

軌道最佳化網路

參考設計 2

排程式三階 Clos

葉、主幹與 super-spine 層可將規模從 4,096 擴充到 16,384 個 GPU。每個 Pod 內部皆為無阻塞，並由超級主幹層設定跨 Pod 比例。每一跳皆採用 DLB，並在 OcNOS 7.1 版本序列上提供端到端 GLB。

GLB 全網路負載平衡

參考設計 3

相干多資料中心 DCI

當一次訓練作業跨越多個資料機房時，可透過 400G ZR / ZR+ 相干光學模組部署於主幹上。站點之間即可實現免轉頻器的 DCI，而站內的三階 Clos 維持不變。

Coherent DCI

參考設計 1

軌道最佳化單一 Pod

每台 GPU 伺服器配備 8 個 NIC，每個軌道一個（一條專屬的 xCCL（NCCL / RCCL / oneCCL）集體通訊通道）。每個軌道都是各自專屬的葉節點，因此每台伺服器的 8 個 NIC 都會連接到不同的葉節點。跨軌道 N 的 AllReduce 會留在葉節點 N 之內，因此在主要的集體通訊模式下，主幹不會承受東西向流量壓力。

Rail-optimized AI fabric topology: four 800G Tomahawk 5 spines above eight rail leaves, with four GPU servers each mapping one of its eight NICs to a different rail leaf, so intra-rail AllReduce stays on one leaf. — Rail-optimized single pod: each GPU server's 8 NICs map one per rail to 8 dedicated leaves, so same-rail AllReduce stays on the leaf and only cross-rail traffic reaches the spine.

OcNOS 組件： BGP-unnumbered L3 底層網路，每個葉節點皆採用 RoCEv2 無損（PFC + ECN），主幹層採用 DLB。建構於 HCL 列名硬體之上：800G 可擴充單元使用 TH5 64x800G 葉節點與主幹（Edgecore AIS800-64D 或 UfiSpace S9321-64E）；入門級 256-GPU Pod 使用 Edgecore AS9736-64D（TH4, 64x400G）。

參考設計 2

三階 Clos 排程式網路：4,096 至 16,384 個 GPU

軌道最佳化在 1k 到 2k 個 GPU 之間某處便會停止擴充：不是葉節點基數用盡，就是主幹層的超額配置過高。超過此規模後，多數現代 AI 網路會改採三階 Clos：葉、主幹、超級主幹。任兩個 GPU 之間最多相隔四個交換器跳數；同葉節點與同 Pod 的節點則更近。

在 Clos 上最困難的部分，是讓流量平均分散，使任何鏈路都不會成為熱點。相關做法從逐流 ECMP、自適應（動態）負載平衡，到逐封包噴灑（per-packet spray），這也是 Ultra Ethernet 採用、並由 NIC 處理重新排序的模式。另有一類做法，例如 Broadcom DDC 這類以資料格（cell）為基礎的排程式網路，會將流量切分為資料格，並在網路內部進行排程。OcNOS 目前以 DLB 維持 GPU 平面的平衡，並在 7.1 版本序列上加入全網路 GLB，同時在 UEC NIC 問世時即可支援 UEC。

此圖為示意圖：所繪示的層級數量已經簡化。4,096-GPU 的建置在 TH5 800G 上為 128 個葉節點 / 64 個主幹 / 32 個超級主幹。

Three-stage Clos AI fabric topology: a super-spine tier over a spine tier over leaf switches feeding GPU pods, sized to 4,096 GPUs on 800G Tomahawk 5 with DLB at every hop. — 排程式三階 Clos：葉、主幹與超級主幹層可將無阻塞的 GPU 平面擴充至數千個 GPU，每一跳皆採用 DLB，並在 OcNOS 7.1 版本序列上提供全網路 GLB。

OcNOS 組件： eBGP-unnumbered L3 底層網路、RoCEv2 無損（PFC + ECN）、每一層皆採用 DLB、於 OcNOS 7.1 版本序列上提供端到端 GLB，並以 gNMI 串流遙測傳送至您的可觀測性堆疊。全程建構於 HCL 列名的 TH5 64x800G 機箱之上。

超額配置比率是可調整的參數，而非固定不變的規則。 這些數量讓每個 1,024-GPU Pod 達到 1:1 無阻塞，並針對跨 Pod 流量採用成本最佳化的約 2:1 超級主幹，這正是超大規模 Ethernet 網路所倚賴的軌道最佳化做法（已發表的大規模設計對最上層的超額配置遠高於此，因為集體通訊流量多留在 Pod 內部）。想要改為追求最大的任意對任意餘裕嗎？完全無阻塞的 1:1 建置在 4,096 個 GPU 時為 128 / 128 / 64，在 16,384 時為 512 / 512 / 256；只有主幹與超級主幹的數量會改變。兩種方案皆可在 AI Fabric Design Suite.

參考設計 3

多資料中心 AI 網路：相干 DCI

當單一訓練作業橫跨一個以上的資料機房時（對於兆級參數模型而言正日益普遍），網路便會延伸跨越 WAN。OcNOS-DC 支援直接在主幹上部署 400G ZR / ZR+ 相干光學模組，實現站點之間免轉頻器的 DCI。各站點底層的三階 Clos 維持不變。

Multi-data-center AI fabric topology: two leaf-spine sites joined by 400G ZR and ZR+ coherent optics on the spine, extending the fabric across the WAN, no external transponders. — 相干多資料中心 DCI：兩座 AI 資料中心透過主幹上的 400G ZR 與 ZR+ 光學模組相連，在不需外接轉頻器的情況下將網路延伸跨越各站點。

OcNOS 組件： 在具備 DWDM 能力的主幹或邊界葉節點連接埠上採用 400G ZR/ZR+ 可插拔相干光學模組，並跨站點提供 gNMI 遙測。無需外接轉頻器。傳輸距離：400ZR 在放大後約可達 120 km；OpenZR+ 透過 oFEC 可傳輸更遠。

設計指引

設計經驗法則

無論您以哪一種參考設計為基礎，幾條簡單的規則就能讓 AI 網路維持在效能與成本曲線的正確一側。

使拓撲與 GPU 數量相匹配。 最小規模 pod（不超過單臺 leaf 的 NIC 基數）：僅用 rail-only 即可。單 pod 規模：採用 rail 最佳化的 leaf-spine。多 pod 規模：三級 Clos 是唯一能在不犧牲超額訂閱的前提下實現擴展的設計。
AI 平面始終保持 1:1 訂閱比。 儲存與 CPU 機架可承受更高的超額訂閱比率。GPU 平面則不應如此。
軌道數應依據 xCCL 規劃,而非布線便利。 對於配備 8 個 NIC 的 GPU 伺服器而言，8 條軌道是目前的實質標準。請勿將多條軌道合併至較少的葉節點。
按功耗和密度選擇晶片，而非按品牌標識。 TH4（25.6T）和 TH5（51.2T）是主力晶片；二者之間的取捨在於機架功耗和 breakout 線纜成本。
在設計階段就為 GLB / UEC 做好規劃。 從第一天起就將遙測平面構建到位，即便是在 7.0 fabric 上，這樣 OcNOS 7.1 GLB 升級便純粹是一次軟體操作。詳見 GLB and Ultra Ethernet.
對照 HCL 進行驗證。 此處的每個參考方案均構建於所列硬體之上，詳見 OcNOS 硬體兼容性列表；從那裡開始即可獲得一流支持。

常見問題

AI 網路拓撲常見問題

什麼是軌道最佳化拓撲，它與純軌道（rail-only）拓撲有何不同？

Rail-optimized wiring connects each of a GPU server's 8 NICs to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf and never traverses the spine. Rail-only 則屬於小型叢集的情況：單一機架列的軌道對齊葉節點，沒有主幹層，跨軌道流量仰賴 GPU 的向上擴充（scale-up）網域。軌道最佳化則加入無阻塞的主幹，讓跨軌道流量擁有網路路徑。

三階 Clos 最多可擴充到多少個 GPU？

這取決於每個 800G 連接埠如何對應到 GPU。在基數為 64 的 Tomahawk 5 交換器上，當每個 GPU 使用一個 800G 網路連接埠時（1:1 無阻塞），雙層葉主幹架構約可達 2,048 個 GPU；而當 800G 連接埠拆分（break out）為多個 GPU NIC 時，則可擴充至 8,000 個以上的 GPU。在上述參考設計中，具備超級主幹層的三階 Clos 可將規模延伸至 16,000 個以上的 GPU，而在理論上的胖樹（fat-tree）上限則可達約 65,000 個 GPU。由於多數集體通訊流量都留在軌道本地，因此超級主幹平面的規模只需依照您實際所需的跨 Pod 比例來調整。

我應該使用 Tomahawk 4 還是 Tomahawk 5？

兩者皆可執行 OcNOS-DC。 Tomahawk 4 （25.6 Tbps, 64×400G）是入門級 Pod 與 400G GPU NIC 的成本最佳化選擇。 Tomahawk 5 （51.2 Tbps, 64×800G）是 800G GPU 伺服器與更大型網路的主力。Tomahawk 4 不具備原生 800G，因此請依照您的 NIC 速率來搭配交換器。

我需要 InfiniBand，還是 Ethernet 就已足夠？

Ethernet 如今已是一流的 AI 網路傳輸方式。搭配 PFC 與 ECN 的 RoCEv2 在今日即可提供無損的 RDMA。 Ultra Ethernet (UEC) 則在 UEC NIC 上市後，透過端點封包噴灑、選擇性重傳與鏈路層級重試，消除全網路對 PFC 的依賴。OcNOS-DC 在今日即可執行 RoCEv2 網路，並已為 UEC 做好準備。

向上擴充（scale-up）在哪裡結束，向外擴充（scale-out）又從何開始？

在 GPU 伺服器及其 NVLink 網域（例如 GB200 NVL72）內部，GPU 會透過向上擴充網路以 terabit 等級的速率彼此通訊。軌道、葉主幹與 Clos 網路則是伺服器與 Pod 之間的向外擴充網路。多數同軌道的集體通訊流量會先由向上擴充吸收，因此網路只承載跨軌道與跨 Pod 的其餘部分，這正是為何 1:1 無阻塞在 GPU 平面上最為重要。

規格書與解決方案簡介