BCM56990 · TSMC 7 nm · 25.6 Tbps · 64×400G

Broadcom Tomahawk 4 Tomahawk 4 交換機 25.6 Tbps · 64 × 400G · 具成本效益的 400G 世代。

一款經 OcNOS-DC 驗證的開放平台: Edgecore AS9736-64D。Tomahawk 4 是具成本效益的 400G 級別:以 7nm 提供 64×400G 的 25.6 Tbps,採用與 TH5 800G spine 相同的低延遲 shared-buffer 架構與 OcNOS-DC 功能集,並以 400G 的成本結構呈現。

25.6Tbps
交換容量
64×400G
原生埠密度
~114MB
Shared Buffer
7nm
TSMC N7 工藝
50GPAM4
每通道 SerDes
01
交換機
運行 Tomahawk 4 的開放硬體

單一平台。單一目的:具成本效益的 400G。

Edgecore AS9736-64D:搭載 BCM56990 Tomahawk 4 的 2RU 64×400G QSFP-DD 交換器。預載 ONIE,執行與 TH5 spine 及 TD4 leaf 相同的 OcNOS-DC 映像。單一經驗證平台:OcNOS-DC 產品組合中的 64×400G 級別,位於 TH5 800G spine 之下。

Edgecore· DCS520 平台家族
400G AI fabric · DCI

AS9736-64D

經 OcNOS-DC 驗證 · 預裝 ONIE
64 × QSFP-DD (400G)Breakout: 2×200 / 4×100 / 2×50 (up to 256 logical ports)
Form
2RU · 21.5 kg
Power
典型功耗約 2100 W · 熱插拔冗餘 AC每個 QSFP-DD 埠約 33 W
CPU
Intel Xeon D-class · 32 GB RAM
▌ 適用場景

適用於採用 400G NIC 的單一 pod GPU 叢集的 400G AI fabric,以及 400G 匯聚 / DCI 角色;在這些場景中,以 merchant-silicon 成本提供的 64×400G 之 25.6T 即可勝任,無需為 800G 埠付出額外代價。

您當前所在位置 · 25.6 Tbps

Tomahawk 4: 64 × 400G

當 400G NIC 是叢集的核心、且每埠成本至關重要時選用:具備完整 OcNOS-DC 功能集的 64×400G 之 25.6 Tbps,價格低於 800G silicon。

升級至 · 51.2 Tbps

Tomahawk 5: 64 × 800G

當叢集需要原生 800G 埠,或者在相同 64 埠基數下每埠 800G 值得支付每埠溢價時,選擇此型號。 Tomahawk 5 頁面 →

更小機型 · 12.8 Tbps

Trident 4: DC leaf

當角色為 100G/400G、容量需求較小的 DC 葉節點時可選用。採用不同的晶片系列,但運行相同的 OcNOS-DC 鏡像,每埠成本大幅降低。 (Trident 4 頁面即將推出。)

02
深入晶片內部
Tomahawk 4 為 400G fabric 帶來什麼

Tomahawk 4:具成本效益的 25.6T 交換晶片。

Tomahawk 4 (BCM56990)是採用 TSMC 7nm、具備 64×400G 原生 radix 的 25.6 Tbps 交換器。與 TH3 及 TH5 相同,它使用晶片內建的 shared-buffer 架構,屬於數百 MB 等級,針對 lossless RoCEv2 調校。它是低延遲交換晶片,而非 deep-buffer 路由晶片:若需 GB 級緩衝,應選用 Jericho 或 Qumran StrataDNX 元件,但對於 400G AI 或 DC fabric,shared buffer 搭配 DLB 正是最適合的工具。

這一點很重要:lossless RoCEv2 依靠 PFC + ECN + DCQCN 讓佇列保持淺短,並依靠 DLB 分散 elephant flow,避免單一佇列累積。TH4 在 ASIC 中以 400G 執行上述所有機制,與 OcNOS-DC 在 TH5 800G spine 上提供的壅塞控制工具集相同。TH4 fabric 與 TH5 fabric 的行為方式一致;差別在於埠速與成本,而非 lossless 的本質。

規格已與 Broadcom 官方數據交叉核對 BCM56990 Tomahawk 4 產品頁 以及實時的 OcNOS 功能矩陣。

ProcessTSMC N7 SeriesStrataXGS 緩存On-die shared Routing認知式 · DLB Shipping自 2020 年起
Broadcom Tomahawk 4(BCM56990)埠 radix 以 64 個埠的格狀圖呈現,每埠 400G,合計 25.6 Tbps
64 x 400G 的樣貌:BCM56990 die 上的 512 lanes 50G PAM4,合計 25.6 Tbps。
四項關鍵設計選擇

為何即使在 TH5 上市之後,TH4 仍是 AI fabric 話題中的一員。

以 merchant-silicon 的成本結構提供 400G,具備與 800G TH5 相同的功能面與低延遲 shared-buffer 架構。

原則 02

50G PAM4 SerDes:512 條通道。

TH3 以 256 lanes 的 50G PAM4 達到 12.8T;TH4 在相同的 50G PAM4 下倍增至 512 lanes,達 25.6T;TH5 維持 512 lanes 並改用 100G PAM4。每個 QSFP-DD cage 八條 lane 提供原生 400G;透過 breakout 可延伸至 200G/100G/50G,支援混速部署。

512 通道 · 50G PAM4
原則 03

硬體自適應路由。

Broadcom Cognitive Routing:在 ASIC 中進行 flowlet 感知的負載平衡,無需控制器往返。OcNOS-DC 以 DLB Reactive-Path Rebalance 啟用此功能,將 elephant flow 分散於整個 fabric,使 RoCEv2 collective 流量下不會有單一佇列累積。

DLB · flowlet 重綁定
原則 04

成熟的 7 nm 晶片。

自 2020 年起規模化出貨:四年多的缺陷修復、可預測的運行行為以及已知的熱設計範圍。對於 TH3 fabric 的棕地改造而言,這是穩妥且可預期的選擇。

TSMC N7 · 量產 4 年以上
03
代際跨越
Tomahawk 3 → Tomahawk 4

容量倍增。Radix 倍增。製程微縮。

TH3(12.8 Tbps · 32×400G · 16 nm · 50G PAM4)是 pre-AI-fabric 時代的主力。TH4 在跨兩個節點的製程微縮下倍增了容量與埠 radix,並具備 400G 的成本結構。

交換容量
12.8 Tbps 25.6 Tbps

在相同機架佔用下實現翻倍。2RU 仍是 2RU。

原生埠密度
32 × 400G 64 × 400G

在相同速率下埠數翻倍:無需額外層級即可適配 Clos 設計。

製程節點
16 nm 7 nm

兩級製程收縮。為 400G 光模組提供每埠功耗餘量,無需按埠主動散熱。

SerDes lanes
256 lanes 512 lanes

每 lane 仍為 50G PAM4,lane 數加倍(256 → 512)。這正是容量倍增的來源。

下一跳: TH5 憑藉 100G PAM4 SerDes 再次倍增至 51.2 Tbps 與 64 × 800G。TH4 則維持為具成本效益的 400G 級別,適用於尚不需要 800G 埠的叢集。 Tomahawk 5 頁面 →
04
OcNOS-DC 交付內容
此晶片上運行 OcNOS-DC

與 TH5 spine 相同的映像。相同的 lossless-fabric 工具集。

OcNOS-DC 在 TH3、TH4 與 TH5 平台上運作完全一致:相同的 lossless RoCEv2 fabric(PFC + ECN + DCQCN)、DLB 自適應路由,以及串流遙測。TH4 400G fabric 與 TH5 800G fabric 的設定與操作方式相同;改變的只有埠速。

Lossless RoCEv2 · shared-buffer

PFC + ECN pre-tuned to xCCL, and the shared buffer absorbs the rest.

標準的 PFC + ETS + Dynamic ECN,搭配針對 RDMA collective 調校的 DCQCN buffer profile。DLB 讓 elephant flow 保持分散,使佇列維持淺短,而 PFC deadlock watchdog 可防範 pause storm。這是 OcNOS-DC 在 TH5 上提供的完整 lossless 工具集,於 400G 呈現。

自適應路由

DLB 在 ASIC 中對 flowlet 重新綁定。

TH4 上的 Cognitive Routing 執行與 OcNOS-DC 在 TH5 上相同的 DLB Reactive-Path Rebalance:flowlet 重新綁定可在 ASIC 中解決 ECMP hash 碰撞,無需控制器往返。

PFC 死鎖看門狗

逐埠、逐優先級。自動排空。

在暫停佇列循環拖垮訓練工作之前即偵測到,並自動排空,使 PFC pause storm 無法拖慢 collective。

串流遙測

線路上的 buffer 與壅塞狀態。

針對 buffer 深度、ECN 標記與 PFC pause 計數的 gNMI on-change。完整的壅塞可視性,而非黑盒子。

真實網路

BGP · OSPF · IS-IS · EVPN-VXLAN.

在同一顆晶片上提供完整的電信等級三層協議棧。TH4 骨幹同時也是一臺真正的路由器:可像運維網路的其他部分一樣運維它,而非將其當作黑盒。

已驗證的特性範圍

與 TH5 相同的 OcNOS-DC 鏡像:凡晶片支持之處,每項功能均可啟用。

Layer 3 routing · L1/L2 · AI fabric primitives · 多播 · QoS · 安全 · 硬體 · 管理。各平台的驗證結果可於公開矩陣中查看。

RoCEv2 / PFC DCQCN DLB EVPN-VXLAN BGP / OSPF / IS-IS gNMI / NETCONF ZTP buffer telemetry
Day-0 to Day-2

ZTP. gNMI on-change. NETCONF + YANG. DCBX.

透過 zero-touch provisioning 在機架中啟用 AS9736-64D。將包含 buffer 與 PFC/ECN 狀態在內的每一項計數器串流至你的可觀測性堆疊。透過 YANG 建模的設定調整每一項門檻值。無需膠合腳本。

ZTP IPv4/IPv6 gNMI NETCONF OpenConfig YANG DCBX LLDP Ansible Terraform provider
誰構建了這套技術棧

三類電信業者畫像。一款晶片通吃。

以 400G 成本結構呈現的 64×400G radix,讓 AS9736-64D 出現在三種不同的討論中:AI fabric、DCI 與既有環境升級。同一款交換器,只是同一個架構問題的不同切入角度。

AI 叢集電信業者 · 400G NIC 單元

無需為 800G 晶片付費的 400G NIC 網路。

「我們的叢集採用 400G NIC。我們還不需要 800G 埠,也不會為用不到的埠支付 800G 的溢價。」

AS9736-64D 上的 TH4 spine,具備針對 RDMA collective 調校 DCQCN 的 lossless RoCEv2,以及次毫秒級的 DLB 重新綁定。採用三層 Clos 進行多 pod 橫向擴充,與隔壁的 TH5 部署使用相同的 OcNOS-DC 映像。

DC · 400G Spine
DCI · Aggregation Architect

400G DCI transport without a chassis-router bill.

"Our cross-DC links need 400G aggregation and EVPN transport at a sane price. Chassis routers cost ten times what this should."

64×400G at merchant-silicon cost, EVPN-VXLAN inter-DC, full L3 stack, per-tenant gNMI telemetry. Open hardware for 400G DCI transport without the 800G price. Where the design must absorb sustained deep-buffer congestion, that is a StrataDNX Jericho job, not TH4.

DC · DCI · 匯聚
棕地 · TH3 換新

容量翻倍,運維模式不變。

「我們有一張 TH3 織構正在生產環境中運行。我們需要更多容量,但不想重新設計 NOS 層,也不想讓網路團隊重新培訓。」

同一款 OcNOS-DC 鏡像可在 TH3 和 TH4 上運行。存量網路升級可保留配置、自動化和 gNMI 流水線不變。容量翻倍,運維模式不變。

DC · 煥新
常見問題

架構師會問的問題

唯一一款平台: Edgecore AS9736-64D,一款基於 Broadcom BCM56990(Tomahawk 4,25.6 Tbps)打造的 2RU 64×400G QSFP-DD 交換器。出貨即預載 ONIE,執行與 TH5 spine 及 TD4 leaf 相同的 OcNOS-DC 映像。它是 OcNOS-DC 產品組合中的 64×400G 主力。
成本。在採用 400G GPU NIC 的單一 pod 規模下,TH4 fabric 的每埠成本低於 TH5,且不需在架構上妥協:64×400G 之 25.6 Tbps、完整的 OcNOS-DC 功能面,以及與 TH5 相同的低延遲 shared-buffer 架構。三層 Clos 依然適用。只有當 800G 埠列入 BoM,或你想在相同的總頻寬下將 spine-leaf 佈線減半時,才需升級至 TH5(800G)。
Tomahawk 4 is a shared-buffer、低延遲 交換晶片,而非 deep-buffer 路由晶片。其 on-die 封包 buffer 屬於數百 MB 等級,與 TH3 及 TH5 架構相同,針對搭配 PFC + ECN + DCQCN 的 lossless RoCEv2 而設計。若需 GB 級的 deep buffering(長距 DCI 暫存、大量 N:1 匯入),應選用 Jericho 或 Qumran StrataDNX 路由晶片。對於低延遲的 400G AI 或 DC fabric,TH4 的 shared buffer 搭配 DLB 自適應路由才是正確的工具。
當 800G 埠列入 BoM,或你想在相同的 64 埠 radix 下每埠達到 800G(在相同總頻寬下將 spine-leaf 佈線減半)時,選用 TH5(AIS800-64D)。當 400G NIC 是叢集核心、且每埠預算排除了 800G silicon 時,選用 TH4(AS9736-64D)。兩者執行相同的 OcNOS-DC 映像。在多層 fabric 中混用兩者屬於受支援的部署方式。
Yes. TH4 has the same Cognitive Routing primitives as TH5: flowlet-aware load-balancing in the ASIC, no controller round-trip. OcNOS-DC turns this on as DLB Reactive-Path Rebalance, so a TH4 fabric resolves elephant-flow hash collisions in hardware. PFC deadlock detection & recovery, DCQCN, and ETS are all available.
容量倍增兩次(12.8 → 25.6 → 51.2 Tbps)。製程微縮兩次(16 → 7 → 5 nm)。lane 數從 TH3 到 TH4 在 50G PAM4 下加倍(256 → 512 lanes),接著 TH5 維持 512 lanes 並將每 lane 加倍至 100G PAM4。三者皆採用 shared-buffer 架構。OcNOS-DC 以相同映像支援三者:既有環境升級可讓設定與 gNMI 管線保持完整。
對於 sub-1 Tbps 的 SP edge 或 cell-site gateway 而言,64×400G radix 過於龐大:這些場景應選用 Qumran(Q2A/Q2U/Q2C)。對於 100G/25G 的純 DC leaf,它的形態也不對:應選用 12.8 Tbps 的 Trident 4(TD4)。而若叢集今天確實需要 800G 埠,TH4 會迫使增加一層 Clos,因此應選用 TH5。TH4 的最佳定位是「400G 已足夠,而每埠成本很重要」。

正在設計 400G fabric 嗎?讓我們一起為它進行規模評估。

與 OcNOS 網路架構師進行 30 分鐘架構會談。請帶上你的 GPU 數量、NIC 速率與突發模式預期,會後即可獲得圍繞 AS9736-64D 測算的 BoM,以及相對 TH5 / TD4 備選方案的部署規劃。