BCM56990 · TSMC 7 nm · 25.6 Tbps · 64×400G

Broadcom Tomahawk 4 Tomahawk 4 交换机 25.6 Tbps · 64 × 400G · 高性价比的 400G 世代。

一款经 OcNOS-DC 验证的开放平台: Edgecore AS9736-64D。Tomahawk 4 是高性价比的 400G 层级:7nm 工艺上以 64×400G 提供 25.6 Tbps,采用与 TH5 800G spine 相同的低延迟 shared-buffer 架构和 OcNOS-DC 功能集,却是 400G 的成本经济性。

25.6Tbps
交换容量
64×400G
原生端口密度
~114MB
Shared Buffer
7nm
TSMC N7 工艺
50GPAM4
每通道 SerDes
01
交换机
运行 Tomahawk 4 的开放硬件

一个平台。一个目标:高性价比的 400G。

Edgecore AS9736-64D:基于 BCM56990 Tomahawk 4 的 2RU 64×400G QSFP-DD 交换机。预装 ONIE,运行与 TH5 spine 及 TD4 leaf 相同的 OcNOS-DC 镜像。一个经过验证的平台:OcNOS-DC 产品组合中的 64×400G 层级,位于 TH5 800G spine 之下。

Edgecore· DCS520 平台家族
400G AI fabric · DCI

AS9736-64D

经 OcNOS-DC 验证 · 预装 ONIE
端口
64 × QSFP-DD (400G)Breakout: 2×200 / 4×100 / 2×50 (up to 256 logical ports)
Form
2RU · 21.5 kg
Power
典型功耗约 2100 W · 热插拔冗余 AC每个 QSFP-DD 端口约 33 W
CPU
Intel Xeon D-class · 32 GB RAM
▌ 适用场景

面向采用 400G NIC 的单 pod GPU cluster 的 400G AI fabric,以及 400G aggregation / DCI 角色,在这些场景中,以商用芯片成本提供的 64×400G 25.6T 即可胜任,无需为 800G 端口付费。

您当前所在位置 · 25.6 Tbps

Tomahawk 4: 64 × 400G

当 400G NIC 是 cluster 的核心且每端口成本至关重要时选它:以 64×400G 提供 25.6 Tbps,具备完整的 OcNOS-DC 功能集,价格低于 800G 芯片。

升级至 · 51.2 Tbps

Tomahawk 5: 64 × 800G

当集群需要原生 800G 端口,或者在相同 64 端口基数下每端口 800G 值得支付每端口溢价时,选择此型号。 Tomahawk 5 页面 →

更小机型 · 12.8 Tbps

Trident 4: DC leaf

当角色为 100G/400G、容量需求较小的 DC 叶节点时可选用。采用不同的芯片系列,但运行相同的 OcNOS-DC 镜像,每端口成本大幅降低。 (Trident 4 页面即将推出。)

02
深入芯片内部
Tomahawk 4 为 400G fabric 带来什么

Tomahawk 4:高性价比的 25.6T 交换芯片。

Tomahawk 4 (BCM56990)是基于 TSMC 7nm 的 25.6 Tbps 交换芯片,具备 64×400G 原生 radix。与 TH3 和 TH5 一样,它采用片上 on-die shared-buffer 架构,容量为数百 MB 级别,针对无损 RoCEv2 进行了调优。它是一款低延迟交换芯片,而非 deep-buffer 路由芯片:需要 GB 级缓冲时应选用 Jericho 或 Qumran StrataDNX 器件,但对于 400G AI 或 DC fabric,shared buffer 加上 DLB 正是恰当的工具。

为何重要:无损 RoCEv2 依赖 PFC + ECN + DCQCN 保持队列浅位,并依赖 DLB 分散 elephant flow,使任何单一队列都不会堆积。TH4 在 ASIC 中以 400G 运行所有这些功能,与 OcNOS-DC 在 TH5 800G spine 上提供的拥塞控制工具集完全相同。TH4 fabric 与 TH5 fabric 的行为方式相同;区别在于端口速率和成本,而非无损本身。

规格已与 Broadcom 官方数据交叉核对 BCM56990 Tomahawk 4 产品页面 以及实时的 OcNOS 功能矩阵。

ProcessTSMC N7 SeriesStrataXGS 缓存On-die shared 路由认知式 · DLB Shipping自 2020 年起
Broadcom Tomahawk 4(BCM56990)端口 radix 以 64 个端口的网格呈现,每个 400G,合计 25.6 Tbps
64 x 400G 是什么样子:BCM56990 die 上的 512 lane 50G PAM4,合计 25.6 Tbps。
四项关键设计选择

为何即使在 TH5 上市之后,TH4 仍是 AI fabric 话题中的一员。

以商用芯片的成本经济性提供 400G,具备与 800G TH5 相同的功能覆盖面和低延迟 shared-buffer 架构。

原则 02

50G PAM4 SerDes:512 条通道。

TH3 以 256 lane 50G PAM4 达到 12.8T;TH4 在相同的 50G PAM4 下翻倍至 512 lane,实现 25.6T;TH5 保持 512 lane 并升级到 100G PAM4。每个 QSFP-DD cage 八条 lane 原生提供 400G;breakout 可扩展至 200G/100G/50G,用于混合速率部署。

512 通道 · 50G PAM4
原则 03

硬件自适应路由。

Broadcom Cognitive Routing:在 ASIC 中进行 flowlet 感知的负载均衡,无需 controller 往返。OcNOS-DC 以 DLB Reactive-Path Rebalance 的形式启用该功能,在 fabric 上分散 elephant flow,使 RoCEv2 集合通信流量下任何单一队列都不会堆积。

DLB · flowlet 重绑定
原则 04

成熟的 7 nm 芯片。

自 2020 年起规模化出货:四年多的缺陷修复、可预测的运行行为以及已知的热设计范围。对于 TH3 fabric 的棕地改造而言,这是稳妥且可预期的选择。

TSMC N7 · 量产 4 年以上
03
代际跨越
Tomahawk 3 → Tomahawk 4

容量翻倍。radix 翻倍。工艺缩小。

TH3(12.8 Tbps · 32×400G · 16 nm · 50G PAM4)是前 AI-fabric 时代的主力。TH4 在两代工艺缩小的基础上将容量和端口 radix 翻倍,并具备 400G 的成本经济性。

交换容量
12.8 Tbps 25.6 Tbps

在相同机架占用下实现翻倍。2RU 仍是 2RU。

原生端口密度
32 × 400G 64 × 400G

在相同速率下端口数翻倍:无需额外层级即可适配 Clos 设计。

制程节点
16 nm 7 nm

两级制程收缩。为 400G 光模块提供每端口功耗余量,无需按端口主动散热。

SerDes lanes
256 lanes 512 lanes

每 lane 仍是 50G PAM4,lane 数量翻倍(256 → 512)。容量翻倍正源于此。

下一跳: TH5 借助 100G PAM4 SerDes 再次翻倍至 51.2 Tbps 和 64 × 800G。TH4 则仍是高性价比的 400G 层级,面向尚不需要 800G 端口的 cluster。 Tomahawk 5 页面 →
04
OcNOS-DC 交付内容
此芯片上运行 OcNOS-DC

与 TH5 spine 相同的镜像。相同的无损 fabric 工具集。

OcNOS-DC 在 TH3、TH4 和 TH5 平台上的运行方式完全一致:相同的无损 RoCEv2 fabric(PFC + ECN + DCQCN)、DLB 自适应路由和流式遥测。TH4 400G fabric 与 TH5 800G fabric 的配置和运维方式相同;仅端口速率不同。

无损 RoCEv2 · shared-buffer

PFC + ECN pre-tuned to xCCL, and the shared buffer absorbs the rest.

标准 PFC + ETS + Dynamic ECN,配合针对 RDMA 集合通信调优的 DCQCN buffer profile。DLB 保持 elephant flow 分散,使队列维持浅位,PFC deadlock watchdog 防范 pause 风暴。这是 OcNOS-DC 在 TH5 上提供的完整无损工具集,运行于 400G。

自适应路由

DLB 在 ASIC 中对 flowlet 重新绑定。

TH4 上的 Cognitive Routing 运行与 OcNOS-DC 在 TH5 上提供的相同的 DLB Reactive-Path Rebalance:flowlet 重绑定在 ASIC 中解决 ECMP hash 冲突,无需 controller 往返。

PFC 死锁看门狗

逐端口、逐优先级。自动排空。

在 paused-queue 循环挂起训练任务之前检测到它们,并自动排空,使 PFC pause 风暴无法阻塞集合通信。

流式遥测

线路上的 buffer 与拥塞状况。

针对 buffer 深度、ECN 标记和 PFC pause 计数的 gNMI on-change 订阅。完整的拥塞可视性,而非黑盒。

真实网络

BGP · OSPF · IS-IS · EVPN-VXLAN.

在同一颗芯片上提供完整的运营商级三层协议栈。TH4 骨干同时也是一台真正的路由器:可像运维网络的其他部分一样运维它,而非将其当作黑盒。

已验证的特性范围

与 TH5 相同的 OcNOS-DC 镜像:凡芯片支持之处,每项功能均可启用。

Layer 3 routing · L1/L2 · AI fabric primitives · 组播 · QoS · 安全 · 硬件 · 管理。各平台的验证情况可在公开矩阵上查看。

RoCEv2 / PFC DCQCN DLB EVPN-VXLAN BGP / OSPF / IS-IS gNMI / NETCONF ZTP buffer telemetry
Day-0 to Day-2

ZTP. gNMI on-change. NETCONF + YANG. DCBX.

在机架中通过 zero-touch provisioning 上线 AS9736-64D。将包括 buffer 和 PFC/ECN 状态在内的每一项计数器流式传输到你的可观测性平台。通过 YANG 建模的配置调整每一项阈值。无需胶水脚本。

ZTP IPv4/IPv6 gNMI NETCONF OpenConfig YANG DCBX LLDP Ansible Terraform provider
谁构建了这套技术栈

三类运营商画像。一款芯片通吃。

以 400G 成本经济性提供的 64×400G radix 使 AS9736-64D 出现在三种不同的场景中:AI fabric、DCI 和 brownfield 更新。同一款交换机,只是同一架构问题的不同表述。

AI 集群运营商 · 400G NIC 单元

无需为 800G 芯片付费的 400G NIC 网络。

“我们的 cluster 采用 400G NIC。我们暂时不需要 800G 端口,也不会为用不上的端口支付 800G 的溢价。”

在 AS9736-64D 上部署 TH4 spine,无损 RoCEv2 配合针对 RDMA 集合通信调优的 DCQCN,亚毫秒级 DLB 重绑定。采用三层 Clos 实现多 pod 横向扩展,与相邻的 TH5 部署使用相同的 OcNOS-DC 镜像。

DC · 400G Spine
DCI · Aggregation Architect

400G DCI transport without a chassis-router bill.

"Our cross-DC links need 400G aggregation and EVPN transport at a sane price. Chassis routers cost ten times what this should."

64×400G at merchant-silicon cost, EVPN-VXLAN inter-DC, full L3 stack, per-tenant gNMI telemetry. Open hardware for 400G DCI transport without the 800G price. Where the design must absorb sustained deep-buffer congestion, that is a StrataDNX Jericho job, not TH4.

DC · DCI · 汇聚
棕地 · TH3 换新

容量翻倍,运维模式不变。

“我们有一张 TH3 织构正在生产环境中运行。我们需要更多容量,但不想重新设计 NOS 层,也不想让网络团队重新培训。”

同一款 OcNOS-DC 镜像可在 TH3 和 TH4 上运行。存量网络升级可保留配置、自动化和 gNMI 流水线不变。容量翻倍,运维模式不变。

DC · 焕新
常见问题

架构师关心的问题

唯一一款平台: Edgecore AS9736-64D,一款基于 Broadcom BCM56990(Tomahawk 4, 25.6 Tbps)构建的 2RU 64×400G QSFP-DD 交换机。出厂预装 ONIE,运行与 TH5 spine 及 TD4 leaf 相同的 OcNOS-DC 镜像。它是 OcNOS-DC 产品组合中的 64×400G 主力。
成本。在采用 400G GPU NIC 的单 pod 规模下,TH4 fabric 的每端口成本低于 TH5,且不做任何架构妥协:以 64×400G 提供 25.6 Tbps,完整的 OcNOS-DC 功能覆盖面,以及与 TH5 相同的低延迟 shared-buffer 架构。三层 Clos 依然适用。只有当 800G 端口进入 BoM,或你希望在相同聚合带宽下将 spine-leaf 布线减半时,才升级到 TH5(800G)。
Tomahawk 4 is a shared-buffer,低延迟 交换芯片,而非 deep-buffer 路由芯片。其 on-die packet buffer 属于数百 MB 级别,架构与 TH3 和 TH5 相同,其容量是针对采用 PFC + ECN + DCQCN 的无损 RoCEv2 而设定的。需要 GB 级 deep buffering(long-haul DCI 保持、重度 N:1 fan-in)时,应选用 Jericho 或 Qumran StrataDNX 路由芯片。对于低延迟的 400G AI 或 DC fabric,TH4 的 shared buffer 加上 DLB 自适应路由才是恰当的工具。
当 800G 端口进入 BoM,或你希望在相同的 64 端口 radix 下每端口达到 800G(在相同聚合带宽下将 spine-leaf 布线减半)时,选择 TH5(AIS800-64D)。当 400G NIC 是 cluster 的核心且每端口预算排除了 800G 芯片时,选择 TH4(AS9736-64D)。两者运行相同的 OcNOS-DC 镜像。在多层 fabric 中混合使用它们是受支持的部署方式。
Yes. TH4 has the same Cognitive Routing primitives as TH5: flowlet-aware load-balancing in the ASIC, no controller round-trip. OcNOS-DC turns this on as DLB Reactive-Path Rebalance, so a TH4 fabric resolves elephant-flow hash collisions in hardware. PFC deadlock detection & recovery, DCQCN, and ETS are all available.
容量翻倍两次(12.8 → 25.6 → 51.2 Tbps)。工艺缩小两次(16 → 7 → 5 nm)。lane 数量从 TH3 到 TH4 在 50G PAM4 下翻倍(256 → 512 lanes),随后 TH5 保持 512 lanes 并将每 lane 速率翻倍至 100G PAM4。三者均采用 shared-buffer 架构。OcNOS-DC 以同一镜像支持这三者:brownfield 更新可保持配置和 gNMI 管道完好无损。
对于低于 1 Tbps 的 SP edge 或 cell-site gateway,64×400G radix 属于过度配置:这类场景应选择 Qumran(Q2A/Q2U/Q2C)。对于 100G/25G 的纯 DC leaf,它也不合适:应选择 12.8 Tbps 的 Trident 4(TD4)。而如果 cluster 当下确实需要 800G 端口,TH4 会迫使增加一层 Clos,因此应选择 TH5。TH4 的最佳适用点是“400G 已足够,且每端口成本至关重要”。

正在设计 400G fabric?让我们一起做容量规划。

与 OcNOS 网络架构师进行 30 分钟架构会谈。请带上你的 GPU 数量、NIC 速率与突发模式预期,会后即可获得围绕 AS9736-64D 测算的 BoM,以及相对 TH5 / TD4 备选方案的部署规划。