BCM56990 · 25.6 Tbps · 64×400G

Broadcom Tomahawk 4 Tomahawk 4 スイッチ 25.6 Tbps · 64 × 400G · コスト効率に優れた400G世代。

OcNOS-DC で認定済みの単一オープンプラットフォーム: Edgecore AS9736-64D. Tomahawk 4はコスト効率に優れた400G階層。64×400Gポートで25.6 Tbpsを実現し、TH5 800Gスパインの下位に位置して、400Gの経済性を提供します。

25.6Tbps
スイッチ容量
64×400G
ネイティブポートレイディックス
~114MB
共有バッファ
2RU
フォームファクター
50GPAM4
レーンあたりSerDes
01
スイッチ

1つのプラットフォーム。1つの目的: コスト効率に優れた400G。

Edgecore AS9736-64D: a 2RU 64×400G QSFP56-DD switch on the BCM56990 Tomahawk 4. It ships with ONIE pre-loaded and runs the same OcNOS-DC software as the TH5 spines and TD4 leaves. One qualified platform: the 64×400G tier of the OcNOS-DC portfolio, below the TH5 800G spine.

Edgecore・ DCS520プラットフォームファミリー
400G AI fabric · DCI

AS9736-64D

OcNOS-DC で認定済み・ONIE プリロード
ポート
64 × QSFP56-DD (400G)ブレークアウト:2×200 / 4×100 / 2×50(最大256論理ポート)
フォームファクター
2RU · 21.5 kg
電源
最大2100 W · ホットスワップ対応の冗長2400 W AC/HVDC電源16ポートでトランシーバーあたり24 W、残り48ポートで13 W
CPU
Intel Xeon D-class · 32 GB RAM
▌ こんなときに最適

400G NIC上のsingle-pod GPUクラスタ向けの400G AI fabric、および400Gアグリゲーション / DCI用途。ここでは64×400Gの25.6Tがmerchant-siliconコストで、800Gポートに投資せずに役割を果たす。

Tomahawk 4: 64 × 400G

400G NICがクラスタの中心で、ポート単価が重要な場合に選択:64×400Gで25.6 Tbps、800Gシリコンを下回る価格。

現在地 ・25.6 Tbps

Tomahawk 5: 64 × 800G

クラスタが800Gポートをネイティブに必要とする場合、または同一の64ポートラディックスでポートあたり800Gがポート単価のプレミアムに見合う場合に選択。 Tomahawk 5 ページ →

ステップアップ ・ 51.2 Tbps

Trident 4: DCリーフ

より小さい容量範囲で100G/400GのDCリーフの役割を担う場合に選択。チップファミリーは異なりますが、OcNOS-DCソフトウェアは同じで、ポート単価はより低くなります。 (Trident 4ページは近日公開。)

より小型の筐体・12.8 Tbps
02
シリコンの内部

Tomahawk 4: コスト効率に優れた25.6Tスイッチチップ。

Tomahawk 4 (BCM56990)は、64×400Gのネイティブradixを持つ25.6 Tbpsのスイッチです。統合された 共有バッファ は約114 MBで、ロスレスRoCEv2向けにチューニングされています。この低遅延スイッチチップはディープバッファのルーターチップではありません:GB規模のバッファリングにはJerichoまたはQumran StrataDNXの製品を使用してください。400GのAIまたはDCファブリックには、共有バッファとDLBが適しています。

その重要性:ロスレスRoCEv2は、キューを浅く保つためのPFCとECNマーキング、NIC上のDCQCNレート制御、そして単一キューの滞留を防ぐためにエレファントフローを分散するDLBに依存します。TH4は400GでPFC、ECNマーキング、DLBをASIC内で実行します。

シリーズStrataXGS バッファオンダイ共有 ロードバランシングDLB
Broadcom Tomahawk 4 (BCM56990) のポートradixを、各400Gの64ポート、合計25.6 Tbpsのグリッドとして表示
64 x 400Gの実像: BCM56990ダイ上で50G PAM4の512 lanesが合計25.6 Tbpsを構成。

TH5の出荷後もTH4がAIファブリックの選択肢に残り続ける理由。

マーチャントシリコンの経済性で400Gを、800G TH5と同じOcNOS-DCソフトウェアで。

原則 02

50G PAM4 SerDes:512 レーン。

TH4は50G PAM4の512レーンで25.6Tを実現。QSFP56-DDポートあたり八レーンで400Gネイティブとなり、ブレークアウトにより混在速度の展開向けに200G/100G/50Gへ拡張できます。

512レーン・50G PAM4
原則 03

ハードウェア動的ロードバランシング。

ASIC内でのフローレット対応ロードバランシングで、コントローラーとのラウンドトリップは不要。OcNOS-DCはこれをDynamic Load Balancing(DLB)として有効化し、エレファントフローをファブリック全体に分散させて、RoCEv2の集団通信トラフィック下でも単一キューの滞留を防ぎます。

DLB・フローレット再バインディング
原則 04

成熟したシリコン。

予測可能な動作と既知の熱設計範囲により、ブラウンフィールドのTH3ファブリック更新に適した選択肢です。

TH3と同じOcNOS-DC
03
世代間の飛躍

同じOcNOS-DCソフトウェアで二倍の容量とradix。

TH3(12.8 Tbps · 32×400G)は前世代の400Gです。TH4は400Gの経済性で、容量とポートradixを二倍にしました。

スイッチング容量
12.8 Tbps → 25.6 Tbps

2RUボックスで二倍の容量。

ネイティブポートレイディックス
32 × 400G → 64 × 400G

同一速度で2倍のポート:追加階層なしでClos設計に適合。

100Gブレークアウトポート
128 × 100G → 256 × 100G

両プラットフォームとも、各400Gポートを4 × 100Gに分割できます。

ネットワークOS
OcNOS-DC → OcNOS-DC

両プラットフォームともOcNOS-DCを実行するため、更新後も同じ運用モデルを維持できます。

次のステップ: TH5はさらに倍増して51.2 Tbpsと64 × 800Gに到達。TH4は、まだ800Gポートを必要としないクラスタ向けに、コスト効率に優れた400G階層であり続けます。 Tomahawk 5 ページ →
04
OcNOS-DC の提供内容

TH5スパインと同じソフトウェア。

同じOcNOS-DCソフトウェアがTH3、TH4、TH5の各プラットフォームで動作し、いずれでもロスレスRoCEv2(PFC + ECN)とストリーミングテレメトリに対応します。

PFC + ECN、そして残りは共有バッファが吸収。

標準のPFC、ETS、ECN。DLBがエレファントフローを分散してキューを浅く保ち、PFCデッドロックの検出と回復機能がポーズによるデッドロックを解消します。

DLBはASIC内でフローレットを再バインド。

TH4上のOcNOS-DC Dynamic Load Balancing(DLB)は、フローレットの再バインドによりASIC内でECMPハッシュ衝突を解決し、コントローラーとのラウンドトリップは不要です。

ポートごと、プライオリティごと。自動ドレイン。

paused-queueのサイクルがトレーニングジョブを停止させる前に検出し、自動的にドレインすることで、PFC pause stormがcollectiveを停滞させないようにする。

PFCデッドロック回復

ワイヤ上のテレメトリ。

dial-inおよびdial-outのgNMIストリーミングテレメトリ、on-changeストリームモードに対応し、輻輳はブラックボックスではなく可視化されます。

BGP · OSPF · IS-IS、対応プラットフォームでは EVPN-VXLAN も。

BGP、OSPF、IS-ISによるレイヤー3ルーティングが同じシリコン上で動作します。TH4スパインはルーティングにも対応しているため、ネットワークの他の部分と同様に運用できます。

TH5と同一のOcNOS-DCソフトウェア:シリコンが対応する範囲ですべての機能が有効化されます。

Layer 3 routing · L1/L2 · AI fabric primitives · Multicast · QoS · Security · Hardware · Management。プラットフォームごとの認定状況は公開マトリクスで確認可能。

RoCEv2 / PFC ECN DLB BGP / OSPF / IS-IS gNMI / NETCONF ZTP バッファチューニング
Day-0 から Day-2

ZTP. gNMI on-change. NETCONF + YANG. DCBX.

ゼロタッチプロビジョニングでAS9736-64Dをラックに立ち上げ。dial-inまたはdial-outでgNMIテレメトリを自社のオブザーバビリティスタックへストリーミングし、YANGモデル化された構成でしきい値をチューニングします。

ZTP IPv4/IPv6 gNMI NETCONF OpenConfig YANG DCBX LLDP Ansible

3つのオペレータープロファイル。3つすべてに単一のシリコン。

400Gの経済性による64×400G radixにより、AS9736-64Dは3つの異なる文脈に登場する。AI fabric、DCI、そしてbrownfieldのリフレッシュ。同じスイッチでありながら、同じアーキテクチャ上の課題を異なる切り口で捉える。

800Gシリコンのコストをかけずに実現する400G NICファブリック。

「当社のクラスタは400G NICで構成されている。まだ800Gポートは必要なく、使えないポートのために800Gのプレミアムを払うつもりはない。」

AS9736-64D上のTH4スパインは、ロスレスRoCEv2とDLBの再バインドに対応します。マルチpodのスケールアウトには三階層Closを使用し、隣接するTH5の展開と同じOcNOS-DCソフトウェアで運用します。

DC · 400Gスパイン

シャーシ型ルーターのコストをかけずに400G DCIトランスポート。

「当社のDC間リンクには、妥当な価格での400GアグリゲーションとEVPNトランスポートが必要です。シャーシ型ルーターは想定を大きく上回るコストがかかります。」

マーチャントシリコンのコストで64×400G、完全なL3スタック、gNMIテレメトリ、そしてプラットフォームが対応する場合はEVPN-VXLAN inter-DC。800Gの価格をかけずに、オープンハードウェアで400G DCIトランスポートを実現。持続的なディープバッファの輻輳を吸収する必要がある設計には、TH4ではなくStrataDNX Jerichoプラットフォームを使用してください。

DC・DCI・アグリゲーション

容量を倍増、運用モデルは同一。

「当社は本番環境でTH3ファブリックを運用している。容量の増強は必要だが、NOSレイヤを再設計したりネットワークチームを再教育したりはしたくない。」

同じOcNOS-DCソフトウェアがTH3とTH4で動作します。ブラウンフィールドの更新でも、構成、自動化、gNMIパイプラインはそのまま維持されます。容量は二倍になり、運用モデルは変わりません。

DC・リフレッシュ

アーキテクトからよくある質問

単一プラットフォーム: Edgecore AS9736-64D、Broadcom BCM56990(Tomahawk 4、25.6 Tbps)をベースとする2RUの64×400G QSFP56-DDスイッチ。ONIEがプリロードされた状態で出荷され、TH5スパインおよびTD4リーフと同じOcNOS-DCソフトウェアを実行します。OcNOS-DCポートフォリオにおける64×400Gプラットフォームです。
コスト:400G GPU NICを使用する単一podの規模では、TH4ファブリックはTH5よりポート単価が低くなります。低遅延の共有バッファ型スイッチチップで、64×400Gポートにわたり25.6 Tbpsを提供します。三階層Closにも引き続き対応できます。TH5(800G)へのステップアップは、800GポートがBoMに含まれる場合、または同じ総帯域でスパイン・リーフ間のケーブル数を半減させたい場合に限られます。
Tomahawk 4 is a shared-buffer, 低遅延 スイッチチップであり、ディープバッファのルーターチップではありません。統合パケットバッファは約114 MBで、PFCとECNによるロスレスRoCEv2向けにサイジングされています。GB規模のディープバッファリング(長距離DCIでの保持や高負荷のN:1ファンイン)には、JerichoまたはQumran StrataDNXのルーターチップを使用してください。低遅延の400G AIまたはDCファブリックには、TH4の共有バッファとDLBが適しています。
800GポートがBoMに含まれる場合、または同じ64ポートradixでポートあたり800Gが必要な場合(同じ総帯域でスパイン・リーフ間のケーブル数が半減)はTH5(AIS800-64D)を選択してください。400G NICがクラスタの中心で、ポートあたりの予算から800Gシリコンが選択肢にならない場合はTH4(AS9736-64D)を選択してください。両者とも同じOcNOS-DCソフトウェアを実行します。
Yes. TH4 supports flowlet-aware load-balancing in the ASIC, with no controller round-trip. OcNOS-DC turns this on as Dynamic Load Balancing (DLB), so a TH4 fabric resolves elephant-flow hash collisions in hardware. PFC deadlock detection & recovery and ETS are also available.
容量は二度倍増しました(12.8 → 25.6 → 51.2 Tbps)。ネイティブradixは32 × 400G(TH3)から64 × 400G(TH4)、さらに64 × 800G(TH5)へと拡大しました。OcNOS-DCは同じソフトウェアで三世代すべてをサポートし、ブラウンフィールドの更新でも構成とgNMIパイプラインはそのまま維持されます。
64×400G radixは、1 Tbps未満のSPエッジやセルサイトゲートウェイが必要とする規模を超えています。それらの役割にはQumran(Q2A/Q2U/Q2C)を選択してください。より小さい容量範囲で100G/400GのDCリーフには、12.8 TbpsのTrident 4(TD4)を選択してください。クラスタが現時点で800Gポートを必要とする場合、TH4では追加のClos階層が必要になるため、TH5を選択してください。TH4は、400Gで十分でポート単価が重要な場合に適しています。

400G fabricを設計中ですか? 一緒にサイジングしましょう。

OcNOSネットワークアーキテクトとの30分間のアーキテクチャセッション。GPU数、NIC速度、バーストパターンの想定をお持ちいただければ、AS9736-64Dを中心としたサイジング済みBoMと、TH5/TD4の代替案に対する配置プランをお持ち帰りいただけます。