BCM56990 · TSMC 7 nm · 25.6 Tbps · 64×400G

Broadcom Tomahawk 4 Tomahawk 4 スイッチ 25.6 Tbps · 64 × 400G · コスト効率に優れた400G世代。

OcNOS-DC で検証済みの単一オープンプラットフォーム: Edgecore AS9736-64D. Tomahawk 4はコスト効率に優れた400G階層。7nmで64×400Gの25.6 Tbpsを実現し、TH5 800G spineと同じ低遅延shared-bufferアーキテクチャとOcNOS-DC機能セットを、400Gの経済性で提供。

25.6Tbps
スイッチ容量
64×400G
ネイティブポートレイディックス
~114MB
Shared Buffer
7nm
TSMC N7プロセス
50GPAM4
レーンあたりSerDes
01
スイッチ
Tomahawk 4を搭載したオープンハードウェア

1つのプラットフォーム。1つの目的: コスト効率に優れた400G。

Edgecore AS9736-64D: BCM56990 Tomahawk 4を搭載した2RUの64×400G QSFP-DDスイッチ。ONIEプリロード済みで、TH5 spineおよびTD4 leafと同じOcNOS-DCイメージを実行。検証済みプラットフォームの1つで、OcNOS-DCポートフォリオの64×400G階層、TH5 800G spineの下位に位置。

Edgecore・ DCS520プラットフォームファミリー
400G AI fabric · DCI

AS9736-64D

OcNOS-DC で検証済み・ONIE プリロード
ポート
64 × QSFP-DD (400G)Breakout: 2×200 / 4×100 / 2×50 (up to 256 logical ports)
Form
2RU · 21.5 kg
Power
標準 ~2100 W ・ ホットスワップ対応 冗長AC電源QSFP-DDケージあたり約33W
CPU
Intel Xeon D-class · 32 GB RAM
▌ こんなときに最適

400G NIC上のsingle-pod GPUクラスタ向けの400G AI fabric、および400Gアグリゲーション / DCI用途。ここでは64×400Gの25.6Tがmerchant-siliconコストで、800Gポートに投資せずに役割を果たす。

現在地 ・25.6 Tbps

Tomahawk 4: 64 × 400G

400G NICがクラスタの基盤となり、ポート単価が重要な場合に選択: 64×400Gの25.6 Tbpsと完全なOcNOS-DC機能セットを、800Gシリコンの価格を下回る水準で提供。

ステップアップ ・ 51.2 Tbps

Tomahawk 5: 64 × 800G

クラスタが800Gポートをネイティブに必要とする場合、または同一の64ポートラディックスでポートあたり800Gがポート単価のプレミアムに見合う場合に選択。 Tomahawk 5 ページ →

より小型の筐体・12.8 Tbps

Trident 4: DCリーフ

より小さい容量エンベロープで100G/400GのDCリーフとして使う場合に選択。チップファミリーは異なりますが、同一のOcNOS-DCイメージで、ポート当たりのコストは大幅に低減。 (Trident 4ページは近日公開。)

02
シリコンの内部
Tomahawk 4が400G fabricにもたらすもの

Tomahawk 4: コスト効率に優れた25.6Tスイッチチップ。

Tomahawk 4 (BCM56990) はTSMC 7nm上の25.6 Tbpsスイッチで、64×400Gのnative radixを備える。TH3やTH5と同様に、on-dieの shared-buffer アーキテクチャは数百MB台のクラスで、lossless RoCEv2向けにチューニングされている。これは低遅延スイッチチップであり、deep-bufferルータチップではない。GBスケールのバッファリングにはJerichoまたはQumran StrataDNX製品を選ぶが、400G AIまたはDC fabricにはshared bufferとDLBの組み合わせがまさに最適なツール。

これが重要な理由: lossless RoCEv2は、キューを浅く保つPFC + ECN + DCQCNと、elephant flowを分散させて単一キューに滞留させないDLBに依存する。TH4はこれらすべてを400GでASIC内で実行し、OcNOS-DCがTH5 800G spineで提供するのと同じ輻輳制御ツールセットを備える。TH4 fabricとTH5 fabricは同じ挙動を示し、違いはポート速度とコストであって、losslessの仕組みではない。

Broadcomの仕様とクロスチェック済み BCM56990 Tomahawk 4 製品ページ および最新のOcNOSフィーチャーマトリクス。

ProcessTSMC N7 SeriesStrataXGS バッファOn-die shared Routingコグニティブ・DLB Shipping2020年以降
Broadcom Tomahawk 4 (BCM56990) のポートradixを、各400Gの64ポート、合計25.6 Tbpsのグリッドとして表示
64 x 400Gの実像: BCM56990ダイ上で50G PAM4の512 lanesが合計25.6 Tbpsを構成。
重要な4つの設計上の選択

TH5の出荷後もTH4がAIファブリックの選択肢に残り続ける理由。

800G TH5と同じ機能範囲および低遅延shared-bufferアーキテクチャを備えた、merchant-siliconの経済性による400G。

PRINCIPLE 02

50G PAM4 SerDes:512 レーン。

TH3は50G PAM4の256 lanesで12.8Tに到達。TH4は同じ50G PAM4で512 lanesへ倍増し25.6Tを実現。TH5は512 lanesを維持しつつ100G PAM4へ移行。QSFP-DDケージあたり8 lanesで400Gネイティブを提供し、breakoutにより200G/100G/50Gへ拡張して混在速度の展開に対応。

512レーン・50G PAM4
PRINCIPLE 03

ハードウェア適応型ルーティング。

Broadcom Cognitive Routing: ASIC内でのflowlet対応ロードバランシングで、コントローラのラウンドトリップは不要。OcNOS-DCはこれをDLB Reactive-Path Rebalanceとして有効化し、elephant flowをfabric全体に分散させ、RoCEv2のcollectiveトラフィック下でも単一キューに滞留させない。

DLB・フローレット再バインディング
PRINCIPLE 04

成熟した7 nmシリコン。

2020年以来ボリューム出荷:4年以上のバグ修正、予測可能な挙動、既知の熱設計枠。TH3 ファブリックのブラウンフィールドリフレッシュには、これが退屈かつ予測可能な選択肢。

TSMC N7・4年以上の出荷実績
03
世代間の飛躍
Tomahawk 3 → Tomahawk 4

容量は倍増。radixは倍増。プロセスは微細化。

TH3 (12.8 Tbps · 32×400G · 16 nm · 50G PAM4) はAI fabric登場前の時代の主力だった。TH4は2ノードのプロセス微細化で容量とポートradixを倍増させ、400Gの経済性を実現。

スイッチング容量
12.8 Tbps 25.6 Tbps

同一ラックフットプリントで容量を倍増。2RUは2RUのまま。

ネイティブポートレイディックス
32 × 400G 64 × 400G

同一速度で2倍のポート:追加階層なしでClos設計に適合。

プロセスノード
16 nm 7 nm

2段階の微細化。アクティブなポート別冷却なしで400G光学部品を駆動するポート当たりの電力的余裕。

SerDes lanes
256 lanes 512 lanes

laneあたりは同じ50G PAM4で、laneは2倍 (256 → 512)。容量の倍増はここから生まれた。

次のステップ: TH5は100G PAM4 SerDesにより再び倍増し、51.2 Tbpsおよび64 × 800Gに到達。TH4はまだ800Gポートを必要としないクラスタ向けに、コスト効率に優れた400G階層であり続ける。 Tomahawk 5 ページ →
04
OcNOS-DC の提供内容
このシリコン上のOcNOS-DC

TH5 spineと同じイメージ。同じlossless-fabricツールセット。

OcNOS-DCはTH3、TH4、TH5の各プラットフォームで同一に動作する。同じlossless RoCEv2 fabric (PFC + ECN + DCQCN)、DLBアダプティブルーティング、ストリーミングテレメトリを提供。TH4 400G fabricとTH5 800G fabricは同じ方法で構成および運用され、変わるのはポート速度だけ。

Lossless RoCEv2 · shared-buffer

PFC + ECN pre-tuned to xCCL, and the shared buffer absorbs the rest.

RDMA collective向けにチューニングされたDCQCNバッファプロファイルを備えた、標準的なPFC + ETS + Dynamic ECN。DLBはelephant flowを分散させてキューを浅く保ち、PFC deadlock watchdogがpause stormを防ぐ。OcNOS-DCがTH5で提供する完全なlosslessツールセットを、400Gで実現。

アダプティブルーティング

DLBはASIC内でフローレットを再バインド。

TH4上のCognitive Routingは、OcNOS-DCがTH5で提供するのと同じDLB Reactive-Path Rebalanceを実行する。flowletの再バインドがASIC内でECMPハッシュ衝突を解決し、コントローラのラウンドトリップは不要。

PFCデッドロックウォッチドッグ

ポートごと、プライオリティごと。自動ドレイン。

paused-queueのサイクルがトレーニングジョブを停止させる前に検出し、自動的にドレインすることで、PFC pause stormがcollectiveを停滞させないようにする。

ストリーミングテレメトリ

ワイヤ上のバッファと輻輳。

バッファ深度、ECN mark、PFC pauseカウントをgNMI on-changeで取得。ブラックボックスではなく、輻輳を完全に可視化。

実ネットワーク

BGP · OSPF · IS-IS · EVPN-VXLAN.

同一シリコン上のフルキャリアグレードLayer 3スタック。TH4スパインは真のルータでもあります。ブラックボックスとしてではなく、ネットワーク全体の他の機器と同様に運用可能です。

検証済み機能領域

TH5と同一のOcNOS-DCイメージ:シリコンが対応する範囲ですべての機能が有効化されます。

Layer 3 routing · L1/L2 · AI fabric primitives · Multicast · QoS · Security · Hardware · Management。プラットフォームごとの検証状況は公開マトリクスで確認可能。

RoCEv2 / PFC DCQCN DLB EVPN-VXLAN BGP / OSPF / IS-IS gNMI / NETCONF ZTP buffer telemetry
Day-0 から Day-2

ZTP. gNMI on-change. NETCONF + YANG. DCBX.

AS9736-64Dをzero-touch provisioningでラックに立ち上げる。バッファやPFC/ECN状態を含むすべてのカウンタを、observabilityスタックへストリーミング。YANGモデル化された設定であらゆるしきい値をチューニング。glueスクリプトは不要。

ZTP IPv4/IPv6 gNMI NETCONF OpenConfig YANG DCBX LLDP Ansible Terraform プロバイダー
このスタックを構築する企業

3つのオペレータープロファイル。3つすべてに単一のシリコン。

400Gの経済性による64×400G radixにより、AS9736-64Dは3つの異なる文脈に登場する。AI fabric、DCI、そしてbrownfieldのリフレッシュ。同じスイッチでありながら、同じアーキテクチャ上の課題を異なる切り口で捉える。

AIクラスタオペレーター・400G NICポッド

800Gシリコンのコストをかけずに実現する400G NICファブリック。

「当社のクラスタは400G NICで構成されている。まだ800Gポートは必要なく、使えないポートのために800Gのプレミアムを払うつもりはない。」

AS9736-64D上のTH4 spine、RDMA collective向けにチューニングされたDCQCNを備えたlossless RoCEv2、サブミリ秒のDLB再バインド。マルチpodスケールアウト向けのThree-tier Clos、隣接するTH5展開と同じOcNOS-DCイメージ。

DC · 400G Spine
DCI · Aggregation Architect

400G DCI transport without a chassis-router bill.

"Our cross-DC links need 400G aggregation and EVPN transport at a sane price. Chassis routers cost ten times what this should."

64×400G at merchant-silicon cost, EVPN-VXLAN inter-DC, full L3 stack, per-tenant gNMI telemetry. Open hardware for 400G DCI transport without the 800G price. Where the design must absorb sustained deep-buffer congestion, that is a StrataDNX Jericho job, not TH4.

DC・DCI・アグリゲーション
ブラウンフィールド ・ TH3刷新

容量を倍増、運用モデルは同一。

「当社は本番環境でTH3ファブリックを運用している。容量の増強は必要だが、NOSレイヤを再設計したりネットワークチームを再教育したりはしたくない。」

同一のOcNOS-DCイメージがTH3とTH4で動作します。ブラウンフィールドの刷新でも設定・自動化・gNMIパイプラインはそのまま維持。容量は2倍に、運用モデルは不変。

DC・リフレッシュ
よくあるご質問

アーキテクトからよくある質問

単一プラットフォーム: Edgecore AS9736-64D, Broadcom BCM56990 (Tomahawk 4, 25.6 Tbps) をベースとする2RUの64×400G QSFP-DDスイッチ。ONIEプリロード済みで出荷され、TH5 spineおよびTD4 leafと同じOcNOS-DCイメージを実行。OcNOS-DCポートフォリオにおける64×400Gの主力。
コスト。400G GPU NIC上のsingle-pod規模では、TH4 fabricはアーキテクチャ上の妥協なくTH5よりポート単価が安い。64×400Gの25.6 Tbps、完全なOcNOS-DC機能範囲、そしてTH5と同じ低遅延shared-bufferアーキテクチャを備える。Three-tier Closも問題なく収まる。TH5 (800G) へ移行するのは、800GポートがBoMに含まれる場合、または同じ総帯域でspine-leafのケーブル配線を半減させたい場合に限られる。
Tomahawk 4 is a shared-buffer, 低遅延 スイッチチップであり、deep-bufferルータチップではない。on-dieパケットバッファは数百MB台のクラスで、TH3やTH5と同じアーキテクチャであり、PFC + ECN + DCQCNによるlossless RoCEv2向けにサイジングされている。GBスケールのdeep buffering (長距離DCIのホールド、高負荷のN:1 fan-in) にはJerichoまたはQumran StrataDNXルータチップが適する。低遅延の400G AIまたはDC fabricには、TH4のshared bufferとDLBアダプティブルーティングが最適なツール。
800GポートがBoMに含まれる場合、または同じ64ポートradixでポートあたり800Gを求める場合 (同じ総帯域でspine-leafのケーブル配線を半減) はTH5 (AIS800-64D) を選択。400G NICがクラスタの基盤であり、ポートあたり予算で800Gシリコンが選択肢から外れる場合はTH4 (AS9736-64D) を選択。両者とも同じOcNOS-DCイメージを実行する。マルチtier fabricでの混在はサポートされる展開。
Yes. TH4 has the same Cognitive Routing primitives as TH5: flowlet-aware load-balancing in the ASIC, no controller round-trip. OcNOS-DC turns this on as DLB Reactive-Path Rebalance, so a TH4 fabric resolves elephant-flow hash collisions in hardware. PFC deadlock detection & recovery, DCQCN, and ETS are all available.
容量は2度倍増 (12.8 → 25.6 → 51.2 Tbps)。プロセスは2度微細化 (16 → 7 → 5 nm)。lane数はTH3からTH4で50G PAM4のまま倍増 (256 → 512 lanes)、その後TH5は512 lanesを維持しつつlaneあたりを100G PAM4へ倍増。3世代すべてがshared-bufferアーキテクチャを採用。OcNOS-DCは同じイメージで3世代すべてをサポートし、brownfieldのリフレッシュでも設定とgNMIパイプラインをそのまま維持。
64×400G radixは、sub-1 TbpsのSP edgeやcell-siteゲートウェイには過剰。それらにはQumran (Q2A/Q2U/Q2C) を選ぶ。100G/25GのピュアなDC leafにも形状が合わない。その場合は12.8 TbpsのTrident 4 (TD4) を選ぶ。そしてクラスタが今まさに800Gポートを必要とするなら、TH4は余分なClos tierを強いるため、TH5を選ぶ。TH4のスイートスポットは「400Gで十分、かつポート単価が重要」という場合。

400G fabricを設計中ですか? 一緒にサイジングしましょう。

OcNOSネットワークアーキテクトとの30分間のアーキテクチャセッション。GPU数、NIC速度、バーストパターンの想定をお持ちいただければ、AS9736-64Dを中心としたサイジング済みBoMと、TH5/TD4の代替案に対する配置プランをお持ち帰りいただけます。