ネットワーキングの定義 · RDMA · RoCEv2

AI Fabric とは何か。

AI ファブリックとは、分散トレーニングおよび推論の際に GPU 間で RDMA トラフィックを伝送する GPU back-end（scale-out）ネットワークです。 サーバーやポッドをまたいでリーフスイッチとスパインスイッチですべての GPU NIC を接続し、レール最適化トポロジーと Clos トポロジーを使います。負荷がかかってもパケットを破棄しないよう、ロスレスな Ethernet トランスポート（PFC と ECN を併用した RoCEv2）で動作します。GPU は集合通信で足並みをそろえてデータを交換するため、ファブリックのテールレイテンシがジョブの完了時間を決めます。これはネットワーキングの意味であり、データ管理で使われる企業向けの「データファブリック」とは異なります。OcNOS-DC は Broadcom Tomahawk 5 ハードウェア上でこのファブリックを提供します。

アーキテクチャレビューをご予約ください トポロジを見る
RoCEv2ロスレス Ethernet トランスポート
51.2 TbpsTomahawk 5、64x800G
最大 16,384GPU、3 階層
OcNOS-DCオープンハードウェア上の 1 つの NOS

「data fabric」ではなく、ネットワーキングの意味

2 つの異なる分野が「fabric」という言葉を使います。data fabric とは、エンタープライズ全体でデータを統合しガバナンスするためのソフトウェアアーキテクチャです。本ページの主題である AI fabric は、物理ネットワーク、すなわち GPU 間で RDMA トラフィックを移動させる配線・スイッチ・トランスポートです。AI インフラチームが「fabric がボトルネックだった」と言うとき、彼らが意味するのはこのネットワーク、つまりトレーニング実行にどれだけ時間がかかるかを決定づけたものです。

  • データファブリック。 システム全体でデータを統合しガバナンスするためのエンタープライズデータ管理アーキテクチャ。配線ではなくソフトウェアです。
  • AI ファブリック。 トレーニングおよび推論の際に GPU 間で RDMA を伝送する物理的な GPU back-end ネットワーク。本ページはこの意味についてのものです。
  • なぜ重要か。 AI ファブリックはジョブ完了時間を決定づけるものであるため、ロスレスで均等に負荷がかかった状態を維持するよう設計されています。

rail・Clos、そしてドロップし得ないトランスポート

AI ファブリックは、1 つのトラフィックパターン、すなわち多数の GPU が大きなフローを同時に相互送信するパターンに最適化された leaf-spine（Clos）ネットワークです。3 つの設計上の選択がこれを定義しており、それぞれがジョブ完了時間を守るために存在します。

トポロジー

レール最適化、2 階層から 3 階層へ

GPU サーバーの 8 つの NIC はそれぞれ、自身の 専用 rail leafに接続され、支配的な同一レールの AllReduce トラフィックが 1 台のリーフ上に留まるようにします。4,096 GPU の単一ポッドを超えると、同じレール最適化設計に 3 つ目の階層を追加します：リーフ、スパイン、スーパースパイン。

AIファブリックトポロジー
トランスポート

ロスレスRoCEv2

GPU は RDMA でデータを移動させますが、これはパケットがドロップされると性能が低下します。 PFC はスイッチキューのオーバーフローを防ぎ、 ECN はパケットに早期にマークを付け、送信側 NIC が損失発生前に速度を落とすようにします。この組み合わせが RoCEv2 を Ethernet 上で伝送します。

RoCEv2ロスレスファブリック
動作

なぜロスレスでなければならないか

OcNOS-DC はこのファブリックを次とともに提供します。 PFC（over L3 を含む）、ECN、Dynamic ECN、WRED、そしてすべてのパスに均等に負荷をかけ続けるための動的ロードバランシング。テールフローがジョブ全体の完了時期を決定づけるためです。

ロスレスイーサネット

Ethernet で十分であり、スイッチが上限を決める

AI ファブリックは今日、Ethernet ネットワークです。到達可能な範囲は、その下にあるスイッチシリコンと、設計対象とする GPU 数によって決まります。

  • Ethernet で十分です。 PFC と ECN を備えた RoCEv2 は、標準的なマルチベンダーハードウェア上でロスレス RDMA を提供します。Meta は Ethernet 上に構築された 24,576-GPU のトレーニングクラスターを公表しています。
  • スイッチが上限を決めます。 OcNOS-DC は、Edgecore AIS800-64D や UfiSpace S9321-64E といった Broadcom Tomahawk 5（51.2 Tbps、64x800G）プラットフォーム上で動作します。これは 800G GPU ファブリックが必要とする密度です。
  • GPU 数に基づく設計。 Tomahawk 5 上で最大 4,096 GPU のレール最適化 2 階層ポッド、その先は 3 つ目のスーパースパイン階層で最大 16,384 GPU まで。

AI Fabric とは何か FAQ

AIファブリックとは？
ネットワーキングにおいて、AI ファブリックとは、分散トレーニングおよび推論の際に GPU 間で RDMA トラフィックを伝送する GPU back-end（scale-out）ネットワークです。すべてのサーバーと pod をまたいで GPU NIC を接続し、AllReduce のようなコレクティブ演算が最も遅いリンクが許す速さで完了するようにします。rail-optimized および Clos トポロジの leaf スイッチと spine スイッチから構築され、ロスレス Ethernet トランスポート（PFC と ECN を備えた RoCEv2）を実行します。OcNOS-DC はそのファブリックを Broadcom Tomahawk 5 ハードウェア上で提供します。
AI fabric は data fabric と同じか。
いいえ。これらは 1 つの言葉を共有する異なる用語です。data fabric は、システム全体でデータを統合しガバナンスするためのエンタープライズデータ管理アーキテクチャです。ここで用いるネットワーキングの意味での AI fabric は、GPU 間で RDMA トラフィックを移動させる物理的な GPU back-end ネットワークです。本ページはネットワーキングの意味についてのものです。
なぜ AI ファブリックがジョブ完了時間を決定づけるのか。
GPU トレーニングはロックステップで実行されます。各ステップの後、GPU はコレクティブで勾配を交換し、すべての GPU は次のステップが始まる前にその交換の完了を待ちます。1 つのリンクが停止するかパケットをドロップすると、ジョブ全体が待たされます。ファブリックはそれらの交換のすべてを伝送するため、その平均ではなくテールレイテンシがトレーニング実行にかかる時間を決定づけます。これが、ファブリックがロスレスで均等に負荷がかかった状態を維持するよう設計されている理由です。
AI ファブリックには InfiniBand が必要か、それとも Ethernet で十分か。
Ethernet は現在、AI ファブリックの主要なトランスポートです。PFC と ECN を併用した RoCEv2 は、標準的なマルチベンダーハードウェア上でロスレス RDMA を実現しており、Meta は Ethernet 上に構築した 24,576 GPU の学習クラスターを公開しています。OcNOS-DC は現在その RoCEv2 ファブリックを運用しており、IP Infusion は Ultra Ethernet Consortium のメンバーです。

AI ファブリックを構築しますか。一緒にサイジングしましょう。

GPU 規模とワークロードをお知らせいただければ、IP Infusion のエンジニアが、OcNOS-DC を実行するオープンな Tomahawk 5 ハードウェア上で、トポロジとポートの計算を一緒に行います。

アーキテクチャレビューをご予約ください トポロジを見る

OcNOS で AI ファブリック全体を設計

ビジネスケースからポート数の計算まで、構築のどの段階からでも着手できます。

ソリューション オープン AI ファブリック 完全な 800G AI ファブリック。オープンスイッチ、OcNOS-DC、そしてサポートを 1 つの契約で。 リファレンスデザイン AIファブリックトポロジー レール最適化された 2 階層および 3 階層のファブリックと coherent DCI を、実際のポート数でサイジング。 サイジングと構築 AI ファブリック設計スイート GPU ファブリックをサイジング。leaf、spine、super-spine の数を、コンポーネントおよび電力のサマリーとともに算出。
AIファブリックは初めてですか？ここから AIファブリックとは？ GPUファブリックとは？ ロスレスイーサネットとは？ RDMAとは？ AIネットワーキングスイッチ
内部の技術 ロスレス RoCEv2 レール最適化ネットワーク DLB GLB (7.1) Ultra Ethernet Tomahawk 6（1.6T） DCQCN PFC デッドロック InfiniBand対イーサネット RoCE と InfiniBand の比較 AI ファブリックアーキテクチャ コヒーレント DCI

さらに詳しく。資料をお持ち帰りください。

本ページよりさらに踏み込んだ、短く技術的な 2 つのダウンロード。OcNOS-DC の完全なデータシートと、ロスレス 800G AI ファブリックアーキテクチャです。

データシート

OcNOS-DC データシート

OcNOS-DC の完全な仕様。EVPN-VXLAN と Ethernet for AI の機能セット、ソフトウェア SKU、サポート対象ハードウェアプラットフォーム、ソリューション発注ガイドを収録しています。

データシートを入手
ソリューションブリーフ

OcNOS 800G ロスレス AI Fabric

Broadcom Tomahawk 4／5 スパインによるノンブロッキング RoCEv2 ファブリック。SKU 階層・検証済みプラットフォーム・導入アーキテクチャを解説します。

概要資料を入手