BCM78900 · TSMC 5 nm · 自 2023 年 3 月起出貨

Broadcom Tomahawk 5 Tomahawk 5 交換機 三款 800G 開放平台,已在 OcNOS-DC 上完成驗證。

Edgecore AIS800-64D、UfiSpace S9321-64E 和 S9321-64EO:相同的晶片、相同的 OcNOS-DC 鏡像、三條採購路徑。為正在挑選 Tomahawk 5 交換機的工程師提供規格、決策規則以及 OcNOS-DC 特性面。

51.2Tbps
交換容量
64×800G
原生埠密度
3SKUs
OcNOS 已驗證
2ODMs
Edgecore · UfiSpace
5nm
TSMC N5 工藝
01
交換機

三款 800G 平台。兩家 ODM。同一套 OcNOS-DC 鏡像。

兩種硬體設計,三個 SKU。三款產品出廠均預裝 ONIE,並執行同一個 OcNOS-DC 鏡像。區別在於外形規格(QSFP-DD 與 OSFP)、品牌定位(AI 網路 SKU 與通用資料中心 SKU),以及部署所依託的光模組生態。每張卡片都連結到廠商完整資料手冊(PDF,本站託管)。

Edgecore· DCS560 平台家族
AI fabric 骨幹層

AIS800-64D

經 OcNOS-DC 驗證 · 預裝 ONIE
埠
64 × QSFP-DD800拆分:2×400 / 4×200 / 8×100(320 個邏輯埠)
外形
2RU
電源
2× 3000 W AC/DC 冗餘每個 QSFP-DD 埠 30 W
CPU
Intel Xeon D1713NTE
▌ 適用場景

GPU 叢集 AI fabric。採用 AI-fabric SKU 定位的 Edgecore DCS560 機箱。

UfiSpace· S9321 平台系列
AI fabric 骨幹層

S9321-64E

經 OcNOS-DC 驗證 · 預裝 ONIE
埠
64 × QSFP-DD (200/400/800G)拆分:2×400 / 4×200 / 8×100
外形
2RU · 23.72 kg
電源
典型 913 W(不含光模組)每個 QSFP-DD 埠 30 W
CPU
Intel Icelake-D 4 核 · 32 GB DDR4
▌ 適用場景

大規模、低熵的AI流量。UfiSpace將64E定位用於以AllReduce為主的流量,其中TH5動態負載平衡是設計的核心。

UfiSpace· S9321 平台系列
800G DCI · 相干光模組

S9321-64EO

經 OcNOS-DC 驗證 · 預裝 ONIE
埠
64 × OSFP (200/400/800G)拆分:2×400 / 4×200 / 8×100
外形
2RU · 23.74 kg
電源
典型 925 W · 200-240 V AC用於更高功率光模組的 OSFP 籠
CPU
Intel Icelake-D · 32 GB DDR4
▌ 適用場景

更高功率模組類別。64E 採用 OSFP 形態:當光模組決定籠位選擇時即可選用。

· 如何在三款產品中選擇

AIS800 與 S9321-64E 對比同款 TH5 晶片,雙 ODM 來源。Edgecore DCS560 (AIS800-64D) 與 UfiSpace S9321:適用於超大規模與 NeoCloud 採購的雙源 BoM。
QSFP-DD vs OSFPQSFP-DD(S9321-64E 和 AIS800-64D)適用於大批量供應的光模組生態。OSFP(S9321-64EO)適用於更高功率的模組等級。
Edgecore vs UfiSpace兩者皆為開放硬體 ODM。可依您與 ODM 的合作關係、RMA 物流或 BoM 成本來選擇。
單一廠商風險兩家廠商均提供 TH5 平台,意味著雙源 BoM 切實可行,這對超大規模和 NeoCloud 採購至關重要。
02
深入晶片內部

Tomahawk 5:Broadcom 的旗艦通用交換 ASIC。

BCM78900 是一顆 5 nm 單晶粒晶片,提供 51.2 Tbps 交換容量,原生支援 64 個 800GbE 埠、128 個 400G 埠或 256 個 200G 埠。它是 Broadcom 首款 5 nm 商用交換 IC。 512 條 SerDes 通道,以 100G PAM4 運行:與 Tomahawk 4 相同的通道數量,每通道速率翻倍。

除了原始容量之外,AI fabric 還取決於三項架構選擇: 共享緩衝架構 在硬體層吸收 xCCL (NCCL / RCCL / oneCCL) 集體通信微突發 認知路由 (DLB)可在 ASIC 中重新綁定大象流,配合 5 nm 的散熱餘量,使 30 W 的 QSFP-DD800 籠位無需逐埠主動散熱即可運行。

規格可對照 Broadcom 公開資料進行驗證 BCM78900 產品頁面.

工藝TSMC N5 系列StrataXGS 緩存共享、RDMA 調優 路由認知式 · DLB 出貨自 2023 年 3 月起
Broadcom Tomahawk 5 (BCM78900) 的連接埠基數,以 64 個連接埠的網格呈現,每個連接埠為 800G QSFP-DD,在單一晶片上提供總計 51.2 Tbps 的交換能力
64 x 800G 的樣貌:512 條 100G PAM4 通道,在 BCM78900 晶片上提供總計 51.2 Tbps。

TH5 為何適合開放 AI fabric。

奪人眼球的指標數字會登上新聞頭條。但這四項工程選擇,才是 AI fabric 架構師真正關心的。

原則 01

通道數相同,速率翻倍。

TH5 與 TH4 一樣配備 512 條 SerDes 通道,但以 100G PAM4 而非 50G 運行。吞吐量翻倍源於既有基礎設施的提速,而非額外增加通道。

100G PAM4 · 106 Gbps
原則 02

共享緩存,而非分區。

全部 64 個埠共享的報文記憶體池、而非按埠劃分。某一埠上的 xCCL AllReduce 微突發會被吸收進全局 fabric 池,而不會觸發 tail-drop。這就是 TH5 在 RoCEv2 上勝出的關鍵所在。

共享緩衝 · RDMA 調優
原則 03

硬體動態負載平衡。

Broadcom Cognitive Routing 在 ASIC 內檢測擁塞路徑並重綁定大象流:無需控制器往返,也無需 ECMP 重新哈希。OcNOS-DC 以 DLB Reactive-Path Rebalance 形式將其開啟。

DLB · flowlet
原則 04

5 nm 散熱裕量。

首款 5 nm 通用交換晶片。正是這一製程縮減,使每個 QSFP-DD800 籠位 30 W 的功耗在無需逐埠主動散熱的情況下成為可能,包括高功率 800G 光模組和 8×100G breakout。

TSMC N5 · 每埠 30 W
03
代際跨越

單埠速率翻倍。容量翻倍。同樣的 64 埠規模。

TH4(25.6 Tbps · 64×400G · 7 nm)對於圍繞 400G 網卡建構的叢集仍然表現出色。當每埠 800G 與 AI 網路原語都重要時,TH5 才對得起它的機架空間。

Tomahawk 6:1.6T 帶來的變化 →

交換容量
25.6 Tbps → 51.2 Tbps

在相同機架佔用下容量翻倍。相同的 2RU,相同的功耗等級。

逐埠速率
64 × 400G → 64 × 800G

在 IPI 實際平台上保持相同的 64-port radix (AS9736-64D → AIS800-64D / S9321)。每埠頻寬翻倍,因此每個 Clos 層承載的流量也翻倍。

製程節點
7 nm → 5 nm

首款 5 nm 通用交換晶片。具備 30 W/埠的熱餘量,無需主動散熱。

每通道 SerDes
50G PAM4 → 100G PAM4

同樣的 512 條通道,速率翻倍。吞吐量的翻番源自現有基礎設施。

棕地改造保持簡潔。 同一份 OcNOS-DC 鏡像可運行於 TH3、TH4 和 TH5 平台:配置、自動化和 gNMI 流水線均可沿用。新叢集可選 TH5;現有可用的 TH4 則繼續保留。
04
OcNOS-DC 交付內容

電信等級 NOS。適用於 AI 調優的預設配置。

Tomahawk 5 具備硬體能力。NOS 的職責是將其暴露給維運人員、遙測管線和叢集調度器,而無需他們圍繞它編寫繁複的 CLI 操作。OcNOS-DC 將這些原語作為一等的可配置對象交付,並以 YANG 建模其狀態。

共享緩衝架構,零丟包東西向流量。

OcNOS-DC 提供 PFC + ETS + Dynamic ECN。TH5 的共享緩衝池可吸收同步的多對一流量,這類流量在分割式緩衝晶片上會發生尾端丟棄。

DLB 在 ASIC 中對 flowlet 重新綁定。

大象流下的 ECMP 哈希衝突是 AI 網路的致命問題。OcNOS-DC 開啟 TH5 Cognitive Routing 的 flowlet 重綁定,使 AllReduce 流量自動分散到每條 spine 路徑上。

逐埠、逐優先級。自動排空。

在暫停隊列周期掛起訓練任務之前即可檢測到。無需維運人員介入即可自動恢復。

gNMI on-change, OpenConfig YANG.

緩存深度、ECN 標記、PFC 暫停計數:每個閾值都是一個旋鈕,每個計數器都是一條傳感器路徑。可對接 Prometheus、Grafana、OTel。

BGP · OSPF · IS-IS,在支援的平台上還有 EVPN-VXLAN。

TH5 spine 同時也是一臺真正的路由器。在同一款晶片上運行完整的電信等級三層棧:像運維網路其餘部分一樣運維 AI fabric,而非把它當作黑盒。

取自即時 OcNOS Feature Matrix 的 TH5 功能。

第三層路由 · L1/L2 · AI fabric 基本功能 · 群播 · QoS · 安全性 · 硬體 · 管理。每一項皆依平台列於公開矩陣中。

RoCEv2 / PFC DCQCN DLB BGP / OSPF / IS-IS gNMI / NETCONF ZTP
Day-0 至 Day-2

ZTP. gNMI on-change. NETCONF + YANG. DCBX.

通過零接觸部署在機架中啟用一臺 TH5 spine。將每個計數器流式輸出至您的可觀測性棧。通過 YANG 建模的配置調整每個閾值。無需任何粘合腳本。

ZTP IPv4/IPv6 gNMI NETCONF OpenConfig YANG DCBX LLDP Ansible Terraform 提供者

三類電信業者畫像。一套晶片 + NOS 組合。

相同的 TH5 裸片、相同的 OcNOS-DC 鏡像,對同一架構問題給出三種不同的詮釋:如何在不將整個技術棧鎖定於單一廠商的前提下,擴展無損東西向流量?

在通用晶片上支持高達 16k-GPU 上限的訓練網路。

「我們需要 800G 直連葉節點、無損 RoCEv2,以及在 AllReduce 下不會失控的尾部時延。單一廠商鎖定不在考慮範圍內。」

TH5 64×800G spine、具 PFC 與 ECN 的 RoCEv2、支援 Reactive Path Rebalance 的 DLB、PFC 死鎖偵測與恢復。與 TH4 相同的 64 埠規模,但每個 spine 埠承載 800G,在相同 fabric 總頻寬下將 spine-leaf 佈線量減半。

DC · AI 網路 SKU

AI 叢集電信業者

多租戶 fabric,BoM 成本可控。

「客戶自行選擇 GPU。我們無法把織構 BoM 綁定到他們的 NIC 選型上。我們需要一款至少能從兩家廠商採購的交換機。」

來自兩家廠商(Edgecore、UfiSpace)的三款經 OcNOS 驗證的 TH5 SKU。VRF-Lite 租戶隔離、gNMI 依租戶遙測,以及在平台支援時的 EVPN-VXLAN 分段。一個 NOS 映像檔,多廠商硬體。

DC · 多租戶

NeoCloud · GPU 即服務

TH3/TH4 fabric 升級換代,無需整機更換。

"我們已有一套 TH4 網路結構投入生產。下一個訓練叢集需要 800G 網卡。我們不想為了升級晶片而重新設計整個 NOS 層。"

同一套 OcNOS-DC 映像檔執行於 TH3、TH4 和 TH5 平台上。棕地改造可完整保留配置、自動化與 gNMI 管線。

DC · TH3 至 TH5

超大規模資料中心 · 棕地改造

架構師會問的問題

橫跨兩家 ODM 的三款開放硬體平台:Edgecore AIS800-64D(DCS560 機箱)、UfiSpace S9321-64E(QSFP-DD)和 S9321-64EO(OSFP)。三者均預裝 ONIE 出廠,並運行同一套 OcNOS-DC 鏡像:相同的配置、相同的功能面、相同的自動化掛鈎。兩家供應商意味著雙源 BoM 對超大規模和 NeoCloud 採購而言切實可行。
QSFP-DD(AIS800-64D 和 S9321-64E)是大規模量產的光模組生態,是資料中心內部短距 800G 的恰當預設選擇。OSFP(S9321-64EO)則提供更高功率的籠體,可容納 QSFP-DD 無法承載的模組類型:例如更長距離的 DR4/DR8,以及可插拔放大器。當光模組決定了籠體選擇時,請選 OSFP;否則在成本和生態廣度上 QSFP-DD 更勝一籌。
TH4 為 25.6 Tbps · 64×400G · 7 nm · 50G PAM4。TH5 在相同的 64 埠規模下,將單埠速率與總交換容量加倍(51.2 Tbps · 64×800G · 5 nm · 100G PAM4)。決策規則:若叢集原生需要 800G 埠,或每個 spine 埠需承載兩倍頻寬(在相同 fabric 總吞吐量下將佈線量減半),請選擇 TH5。若設計以 400G NIC 與單一 pod 規模為基礎,TH4 依然是出色的選擇,且每埠成本更低。OcNOS-DC 以同一映像檔支援兩者:既有網路的升級依然順暢。
Ultra Ethernet 端點行為(封包噴灑、重新排序、選擇性重傳)在支援 UEC 的 NIC 上運行,而 UEC 1.0 規格也涵蓋鏈路與交換器行為,因此 UEC 的適用性取決於 NIC、交換晶片與 NOS 版本。目前在 Tomahawk 5 上,OcNOS-DC 以 PFC、ECN 與 DLB 在生產環境中運行無損 RoCEv2。IP Infusion 是 Ultra Ethernet Consortium 的成員。如需規劃 UEC 如何融入特定建置,請與我們聯繫。
在 TH5 上,OcNOS-DC 提供以下 AI fabric 功能:PFC over L3、ETS、Dynamic ECN、DLB Reactive-Path Rebalance、DLB Random-Flow、PFC 死結偵測與復原、交換器封包緩衝調校、DCBX LLDP。在同一晶片上,它也運行完整的電信等級第三層協定堆疊(BGP、OSPF、IS-IS),並在平台支援時提供 EVPN-VXLAN。OcNOS Feature Matrix 依平台列出每一項功能。
SP 邊緣、蜂巢基地台閘道、1 Tbps 以下的匯聚。在這些角色中,64×800G 的埠密度不足以體現其機架空間價值。對於 SP 路由,OcNOS 驗證了 Broadcom Qumran(Q2C、Q2C+)與 Jericho(J2C+);對於單 pod 環境下的 100G/400G DC 葉交換器,Trident(TD3-X7、TD4)經濟性更優。當 800G 埠密度與 AI 網路原語都重要時,TH5 勝出。

正在設計 Tomahawk 5 fabric?讓我們一起為它定型。

與 OcNOS 網路架構師進行 30 分鐘的架構溝通。帶上您的 GPU 數量、NIC 速率和層級偏好,即可獲得覆蓋三款 TH5 SKU 的規格化物料清單。