AI back-end · Storage · Front-end · Coherent DCI

AI データセンターファブリックアーキテクチャ

Q: AI データセンターを構成するファブリックとは何か。

An AI data center runs four network planes. The AI back-end fabric carries GPU-to-GPU collective traffic and is the one that has to be non-blocking and lossless. The storage fabric moves checkpoints and datasets to and from the GPU racks over RDMA. The front-end fabric handles north-south, tenant, and inference access. A separate out-of-band management plane brings switches up and streams telemetry on its own wires. Coherent DCI extends the design across sites. OcNOS-DC runs all four planes plus DCI.

Q: 各ファブリックはどのオーバーサブスクリプションを用いるべきか。

The AI back-end fabric should be 1:1 non-blocking on the GPU plane, because a hot link there stalls the whole collective and every GPU waits on the slowest transfer. The storage fabric typically runs a cost-optimized ratio near 3:1, since storage bursts are less latency-critical than collectives. The front-end and out-of-band management planes carry lighter, less bursty traffic and tolerate higher oversubscription. Match the ratio to the traffic each plane actually carries.

Q: 2 つの AI データセンターをどう接続するか。

Use coherent DCI: 400G and 800G ZR+ pluggable optics on a border port, no external transponders. On OcNOS-DC the UfiSpace S9321-64EO adds 400G ZR+ coherent optics for exactly this. Multi-DC training reach is commonly under about 30 km on ZR+, and longer on OpenZR+ using oFEC. That lets a single training run span more than one data hall while each site keeps its own leaf-spine fabric unchanged.

Q: 1 つの NOS ですべてのファブリックを運用できるか。

Yes. OcNOS-DC runs the AI back-end, storage, front-end, and out-of-band management planes, plus coherent DCI, on the same operating system. That means one configuration model, one telemetry stack over gNMI and OpenConfig, and one IP Infusion support contract covering the software and the validated hardware, with one TAC and one SLA across every plane in the design.

Q: 各プレーンで動作するハードウェアは何か。

All four planes run OcNOS-DC on Broadcom Tomahawk silicon. The 800G planes use Tomahawk 5 (BCM78900, 51.2 Tbps, 64×800G): Edgecore AIS800-64D or UfiSpace S9321-64E, with the S9321-64EO adding 400G ZR+ coherent optics for DCI. Entry and 400G planes use Tomahawk 4 (BCM56990, 25.6 Tbps, 64×400G) such as the Edgecore AS9736-64D. These are on-chip shared-buffer switches, and every one is listed on the OcNOS Hardware Compatibility List.

AI データセンターは、1 つのフラットなネットワークではなく、4 つのネットワークプレーンを運用します。GPU 間の集合通信のための AI back-end ファブリック、ストレージファブリック、front-end ファブリック、そして分離されたアウトオブバンド管理プレーンです。 Coherent DCI はトレーニングを複数拠点にわたって拡張し、OcNOS-DC は検証済みの Broadcom Tomahawk ハードウェア上で、すべてのプレーンを単一の NOS で運用します。

アーキテクチャレビューをご予約ください AI ファブリック設計スイートを開く

4 planesさらに coherent DCI

1 NOSすべてのプレーンで OcNOS-DC

最大 800GTomahawk 5、64x800G

1 contract1 つの TAC、1 つの SLA

プレーンごとのスコープ

スイッチだけでなく、プレーンを設計する

AI ファブリックの失敗の大半はスコープの失敗です。チームは GPU プレーンをサイジングし、その後にストレージ・テナントアクセス・管理を後付けで継ぎ足します。

その代わりにプレーンごとにトラフィックを分離し、それぞれに必要なサブスクリプション比率と分離性を与えます。ノンブロッキングかつ無損失でなければならないのは AI back-end ファブリックのみであり、他の 3 つは、そこに属さないトラフィックをそこから遠ざけるために存在します。4 つすべてのプレーン、そして拠点を結ぶコヒーレントリンクは、次の上で動作します。 OcNOS-DC on HCL-listed Tomahawk ハードウェア。

4 つのファブリック

各プレーンには 1 つの役割

各プレーンをそれ自身の役割に合わせてサイジングし、そのトラフィックをそれ自身の配線上に保てば、ファブリックはフルトレーニング実行下でも予測可能なままです。

Plane 1

AI back-end ファブリック

集合通信を運ぶ GPU 間プレーン。次のように構築されます。 1:1 ノンブロッキングレール最適化 leaf-spine ポッド、または次の上の 3 ステージ Clos として。純粋な Layer 3 eBGP アンダーレイ、そして RDMA が必要とする RoCEv2 ファブリックによって無損失に保たれます。PFC（DCBX/LLDP を用いた L3 越えを含む）と ECN です。DLB はフローを分散させ、AllReduce の際にどのリンクもホットスポットにならないようにします。

1:1 ノンブロッキング · RoCEv2（PFC + ECN） · DLB · TH5 800G

Plane 2

ストレージファブリック

GPU ラックと NVMe-oF または NFS ストレージの間でチェックポイントとデータセットを移動させる leaf-spine Clos。通常は次の付近でサイジングされます。 3:1。ストレージのバーストは集合通信よりも高いオーバーサブスクリプションを許容するためであり、負荷時に RDMA ストレージトラフィックがドロップしないよう無損失に保たれます。

Leaf-spine Clos · ~3:1 · 無損失 RDMA · NVMe-oF / NFS

Plane 3

フロントエンドファブリック

テナントアクセス・推論サービング、そしてデータセンターの他の部分やインターネットへの出口経路を担う north-south プレーン。400G または 800G のアクセスで動作し、back-end プレーンのコレクティブパターンではなく、実際に運ぶサービストラフィックに合わせてサイジングされます。

North-south · テナント／推論 · 400G / 800G

Plane 4

アウトオブバンド管理

独立した配線上に構築される別個の Clos または MLAG プレーン。これにより、立ち上げと監視がデータプレーンと運命を共にすることはありません。ZTP・SNMP・syslog、および gNMI／OpenConfig ストリーミングテレメトリを伝送し、データプレーンファブリックの再構成中も動作し続けます。

分離プレーン · ZTP · SNMP / syslog · gNMI テレメトリ

リファレンスアーキテクチャ

4 つのファブリックに DCI を加え、1 つの NOS 上で

1 つのデータセンターに 4 つのプレーンを備え、コヒーレント光により第 2 サイトへ拡張します。AI back-end プレーンは 1:1 のノンブロッキング。ストレージ・フロントエンド・管理は、それぞれのトラフィックが必要とする比率で動作します。すべてのプレーンが OcNOS-DC を実行し、ZR+ DCI リンクは外部トランスポンダなしでサイト間のトレーニングをスケールさせます。

OcNOS構成要素： プレーンごとのルーテッド eBGP-unnumbered アンダーレイ（AI back-end は純粋な Layer 3 eBGP で、EVPN-VXLAN は AI アンダーレイではなくテナントオーバーレイとして維持）、back-end およびストレージプレーンでの RoCEv2 ロスレス（PFC + ECN、DCBX/LLDP を用いた PFC over L3）と DLB、ZTP および gNMI テレメトリ用の分離された管理プレーン、そして DCI 用に S9321-64EO 上の 400G/800G ZR+ コヒーレント光。HCL 掲載の Tomahawk 5（Edgecore AIS800-64D、UfiSpace S9321-64E / 64EO）および Tomahawk 4（Edgecore AS9736-64D）ハードウェア上に構築されています。

サイト間でスケールする

コヒーレント DCI、外部トランスポンダ不要

単一のトレーニング実行が 1 つのデータホールを超えて拡大した場合、ファブリックはボーダーポートから直接、400G および 800G ZR+ コヒーレントプラガブル光により WAN 全体へ拡張されます。

The UfiSpace S9321-64EO は、DCI 用に 400G ZR+ コヒーレント光を追加した Tomahawk 5 プラットフォームです。到達距離は通常およそ ZR+ で 30 km、oFEC を用いた OpenZR+ ではさらに長くなります。各サイトが自身の leaf-spine ファブリックを変更せずに維持しつつ、コレクティブレイテンシを予算内に収めるのに十分な近さです。次を参照してください。コヒーレント DCI 光と到達距離の詳細に関する詳説。

The silicon

各プレーンで動作するハードウェア

すべてのプレーンが Broadcom Tomahawk シリコン上で OcNOS-DC を実行します。800G プレーンと DCI は Tomahawk 5 を、エントリおよび 400G プレーンは Tomahawk 4 を採用します。いずれもオンチップ共有バッファスイッチであり、すべてのプラットフォームが OcNOS Hardware Compatibility List に掲載されています。

シリコンレイヤー	Tomahawk 5800G プレーン + DCI	Tomahawk 4エントリ + 400G プレーン
Broadcom 品番	BCM78900	BCM56990
スイッチ容量	51.2 Tbps	25.6 Tbps
ポート構成	64×800G	64×400G
バッファ	オンチップ共有バッファ。HCL 掲載。	オンチップ共有バッファ。HCL 掲載。
プラットフォーム	Edgecore AIS800-64D、UfiSpace S9321-64E。S9321-64EO は DCI 用に 400G ZR+ コヒーレント光を追加します。	Edgecore AS9736-64D。
設計における役割	800G の AI back-end およびストレージプレーンに加え、サイト間のコヒーレント DCI。	エントリ構成、および 400G のフロントエンドまたは管理プレーン。

1 つの NOS、4 つの役割

1 つの NOS がもたらす力

4 つのプレーンと DCI リンクは、4 つの製品ではありません。1 つのオペレーティングシステムが 4 つの役割を担うものです。OcNOS-DC は AI back-end・ストレージ・フロントエンド・アウトオブバンド管理の各ファブリックに加えコヒーレント DCI を、1 つの構成モデルと gNMI および OpenConfig 上の 1 つのテレメトリスタックで実行します。チームが習得するのは、すべてのプレーンに対して 1 つの CLI、1 つの自動化面、1 組のカウンタです。

1 つの運用モデル

ポートが GPU 向け back-end leaf であれ、ストレージ leaf、フロントエンドボーダー、あるいは管理スイッチであれ、同一のルーティング・QoS・テレメトリモデルが適用されます。

単一のサポート契約

1 つの IP Infusion 契約が、ソフトウェアと検証済みハードウェアを、すべてのプレーンにわたる 1 つの TAC と 1 つの SLA でカバーします。NOS ベンダーとハードウェアベンダーの間で責任のなすり合いが発生することはありません。

1 つのハードウェアリスト

すべてのプレーンが同一の OcNOS Hardware Compatibility List から構築されるため、サポート・光・ファームウェアが設計全体で一貫して維持されます。

検証済みハードウェア（HCL）

成長を見据えた 1 つのロードマップ

ロードマップには、ファブリック全体の GLB（OcNOS 7.1）、レイテンシベースの ECN（7.1.0）、および LLR・CBFS・パケットトリミングが含まれます。今後登場する Tomahawk 6 シリコン（BCM78910 / BCM78914、102.4 Tbps、TSMC 3nm）は OcNOS 7.2 train を採用し、より高い radix で同じ設計を拡張します。これらがソフトウェアステップとして届くよう、初日からテレメトリプレーンを組み込んでおきましょう。

よくある質問

AI ファブリックアーキテクチャ FAQ

AI データセンターを構成するファブリックとは何か。

AI データセンターは 4 つのネットワークプレーンを運用します。 AI back-end ファブリック は GPU 間のコレクティブトラフィックを伝送し、ノンブロッキングかつロスレスでなければならないプレーンです。 ストレージファブリック は、チェックポイントとデータセットを RDMA 経由で GPU ラックとの間で移動させます。 フロントエンドファブリック は north-south・テナント・推論アクセスを処理します。別個の アウトオブバンド管理 プレーンは、独自の配線上でスイッチを立ち上げ、テレメトリをストリーミングします。コヒーレント DCI は設計をサイト間に拡張します。OcNOS-DC は 4 つのプレーンすべてに DCI を加えて実行します。

各ファブリックはどのオーバーサブスクリプションを用いるべきか。

AI back-end ファブリックは次であるべきです。 1:1 ノンブロッキング GPU プレーンでは、そこでホットリンクが 1 つ生じるとコレクティブ全体が停止し、すべての GPU が最も遅い転送を待つことになるためです。ストレージファブリックは通常、次に近いコスト最適化された比率で動作します。 3:1。ストレージのバーストはコレクティブほどレイテンシクリティカルではないためです。フロントエンドおよびアウトオブバンド管理プレーンは、より軽くバースト性の低いトラフィックを運び、より高いオーバーサブスクリプションを許容します。比率は各プレーンが実際に運ぶトラフィックに合わせてください。

2 つの AI データセンターをどう接続するか。

コヒーレント DCI を使用します。ボーダーポート上の 400G および 800G ZR+ プラガブル光で、外部トランスポンダは不要です。OcNOS-DC では、 UfiSpace S9321-64EO がまさにこの目的で 400G ZR+ コヒーレント光を追加します。マルチ DC トレーニングの到達距離は通常およそ ZR+ で 30 km、oFEC を用いた OpenZR+ ではさらに長くなります。これにより、各サイトが自身の leaf-spine ファブリックを変更せずに維持しつつ、単一のトレーニング実行が複数のデータホールにまたがることが可能になります。

1 つの NOS ですべてのファブリックを運用できるか。

Yes. OcNOS-DC は、AI back-end・ストレージ・フロントエンド・アウトオブバンド管理の各プレーンに加えコヒーレント DCI を、同一のオペレーティングシステム上で実行します。これは、1 つの構成モデル、gNMI および OpenConfig 上の 1 つのテレメトリスタック、そして 1 つの IP Infusion サポート契約 を意味し、ソフトウェアと検証済みハードウェアを、設計内のすべてのプレーンにわたる 1 つの TAC と 1 つの SLA でカバーします。

各プレーンで動作するハードウェアは何か。

4 つのプレーンすべてが Broadcom Tomahawk シリコン上で OcNOS-DC を実行します。800G プレーンは次を使用します。 Tomahawk 5 （BCM78900、51.2 Tbps、64×800G）。Edgecore AIS800-64D または UfiSpace S9321-64E で、S9321-64EO は DCI 用に 400G ZR+ コヒーレント光を追加します。エントリおよび 400G プレーンは次を使用します。 Tomahawk 4 （BCM56990、25.6 Tbps、64×400G）、例えば Edgecore AS9736-64D。これらはオンチップ共有バッファスイッチであり、いずれも OcNOS Hardware Compatibility List に掲載されています。

データシートとソリューション概要

さらに詳しく。資料をお持ち帰りください。

製品データシートと、このページよりもさらに踏み込んだ簡潔で技術的なダウンロード資料です。

データシート

OcNOS-DC データシート

OcNOS-DC の完全な仕様。EVPN-VXLAN と Ethernet for AI の機能セット、ソフトウェア SKU、サポート対象ハードウェアプラットフォーム、ソリューション発注ガイドを収録しています。

データシートを入手

ソリューションブリーフ

OcNOS 800G ロスレス AI Fabric

Broadcom Tomahawk 4／5 スパインによるノンブロッキング RoCEv2 ファブリック。SKU 階層・検証済みプラットフォーム・導入アーキテクチャを解説します。

概要資料を入手

ソリューションブリーフ

EVPN-VXLAN データセンターファブリック

キャリアグレードの leaf-spine データセンターファブリック。対称型 IRB、Type-2/Type-5 ルート、そして分散エニーキャストゲートウェイ。

概要資料を入手

AI データセンター全体を設計しますか。すべてのプレーンを一緒に計画します。

GPU 規模とワークロードをお知らせいただければ、IP Infusion のエンジニアが back-end・ストレージ・フロントエンド・管理・DCI の各プレーンを一緒にサイジングします。あるいは、AI Fabric Design Suite で初回レイアウトから始めることも可能です。

アーキテクチャレビューをご予約ください AI ファブリック設計スイートを開く

AIファブリック

OcNOS で AI ファブリック全体を設計

ビジネスケースからポート数の計算まで、構築のどの段階からでも着手できます。

ソリューションオープン AI ファブリック完全な 800G AI ファブリック。オープンスイッチ、OcNOS-DC、そしてサポートを 1 つの契約で。リファレンスデザイン AIファブリックトポロジーレール最適化、スケジュール方式の 3 ステージ Clos、そしてコヒーレント DCI を、実際のポート数でサイジング。 Size & build AI Fabric Design Suite GPU ファブリックをサイジング。leaf、spine、super-spine の数を、コンポーネントおよび電力のサマリーとともに算出。

AIファブリックは初めてですか？ここから AIファブリックとは？ GPUファブリックとは？ロスレスイーサネットとは？ RDMAとは？

内部の技術 RoCEv2 lossless レール最適化ネットワーク DLB アダプティブルーティング GLB (7.1) Ultra Ethernet DCQCN PFC デッドロック InfiniBand対イーサネット RoCE と InfiniBand の比較 AI ファブリックアーキテクチャ Coherent DCI

ソリューション

製品

パートナー

リソース

会社情報

サービスプロバイダーネットワーク

5Gモバイルトランスポート

ブロードバンド集約

Metro Ethernet ／アグリゲーション

IP コア／ピアリング

IP over DWDM (ルーテッドオプティカル)