ホーム · リソース · AI ネットワーキングファブリックの選び方
ベンダーニュートラルなバイヤーズガイド

AI ネットワーキングファブリックの選び方

GPU が定格スループットで動作するのは、その下にあるファブリックが追従できる場合だけです。これは、契約前に AI ファブリックを決定づける 6 つの基準で評価するための、ベンダーニュートラルなフレームワークです。

AI ネットワーキングファブリックはどのように選べばよいですか。 候補は 6 つの基準で評価してください：GPU プレーンでのロスレス性能（PFC、ECN、動的ロードバランシングを備えた RoCEv2）、GPU 数に見合ったスケールとトポロジー、ベンダーロックインに対するオープン性、運用とテレメトリ、1 つの契約によるサポート責任、そして Ultra Ethernet を含む標準のロードマップです。学習スループットを守るロスレス性を最優先とし、残りは成長計画に照らして比較検討します。

ファブリックは 6 つの要素から成る 1 つの判断として捉える

AI ネットワーキングファブリックは一度購入すると何年も使い続けるものです。そのため、単一の目玉となる数値ではなく、6 つの特性がクラスターの運用方法にどう適合するかで評価します。検討対象となるファブリックは 3 種類です：

  • クローズドなシングルベンダースタック は NIC、スイッチ、スケジューラーを 1 つの SKU にまとめ、トレードオフを購入者に代わって決めてしまいます。
  • コミュニティおよびオープンソースの NOS の選択肢はコードを提供しますが、統合とサポートは購入者側の負担となります。
  • オープンな商用 NOS の選択肢は、サポート契約を伴いながらハードウェアの選択肢を維持します。

以下の基準により、いずれも同じ条件で評価できます。

1

性能とロスレス性

AI のコレクティブ通信は RDMA を使用し、RDMA にはロスレスな基盤が必要です。RoCEv2 は Ethernet 上でそれを実現しますが、チェックボックスではなく、輻輳制御機能一式がそろって初めて機能します。負荷時に不適切な一時停止やパケット損失を起こすファブリックは、トレーニングのスループット停滞の最も一般的な原因です。そのため、この基準を最初に確定させてください。

確認すべき質問

  • DCBX および LLDP を伴う PFC over L3 を含め、RoCEv2 が必要とするロスレス Ethernet ファブリックを提供していますか。
  • ECN マーキングはありますか。また、負荷に応じてしきい値を調整する動的な方式はありますか。
  • PFC デッドロックの検出と回復に加え、WRED とバッファチューニングはありますか。
  • コレクティブ実行中にリンクがホットになったとき、テールレイテンシはどのように抑えられますか。

評価の方法

具体的な輻輳制御機能を確認し、購入するシリコン上で動作することを確かめてください。信頼できる回答には、PFC（L3 上、DCBX と LLDP を含む）、ECN と Dynamic ECN、ETS、WRED、PFC デッドロックの検出と回復、そしてホットリンクからフローを再分散する動的ロードバランシングが挙げられます。静的ハッシュでは大きなフローが一部のリンクで衝突したままになることがありますが、Tomahawk 4 および Tomahawk 5 の動的ロードバランシングは 90% 台のファブリック利用率を目標とするため、付加機能ではなくスループットのための機能として扱ってください。 RoCE と InfiniBand の比較 比較では、ロスレスモデルと InfiniBand のクレジットフロー制御との違いを説明しています。

2

規模とトポロジの適合性

適切なトポロジとは、コレクティブ実行中にすべての GPU のリンクを飽和状態に保つ最小のノンブロッキング設計であり、次の規模へのすっきりした拡張経路を備えたものです。拡張できないトポロジは後で全面的な入れ替えを強いるため、開始時点ではなく、クラスターが向かう先に合わせてサイジングしてください。

確認すべき質問

  • GPU プレーンは 1:1 ノンブロッキングですか。また、オーバーサブスクリプションはどこから始まりますか。
  • 階層を追加する必要が生じる前に、この設計で到達できる最大のクラスター規模はどれくらいですか。
  • レール最適化の配線と、マルチポッド規模向けのスーパースパイン階層をサポートしていますか。

評価の方法

候補を具体的な GPU 数に照らして整理します。Tomahawk 5 スイッチでは、2 階層のリーフスパインが GPU あたり 800G、1:1 ノンブロッキングで 4,096 GPU に到達します。各スイッチは 128×400G として動作し、各 GPU は 2 つの 400G リーフポートに接続されます。それを超えると、同じレール最適化ポッドの上にスーパースパイン階層を重ねて 16,000+ GPU まで拡張します。次をご利用ください： レール最適化 配線でシングルポッドの局所性を、Clos でマルチポッドの規模を実現します。 リファレンストポロジー ではポート計算を示しており、 AI ファブリック設計スイート で最初の概算が得られます。

3

オープン性とロックイン

クローズドな AI ファブリックは NIC、スイッチ、スケジューラーを 1 社のサプライヤーに結び付け、価格とロードマップをそのサプライヤーが決めることになります。オープンなアプローチでは、複数のハードウェアベンダーの標準 Ethernet シリコン上で商用 NOS を稼働させるため、ハードウェアの選択肢を維持し、セカンドソースを確保できます。複数年にわたるコストと交渉力は、ここで決まります。

確認すべき質問

  • スイッチ、NOS、光モジュールをそれぞれ独立して調達できますか。
  • ファブリックは公開された標準ベースの Ethernet 上に構築されていますか。それとも独自のトランスポートですか。
  • 同じソフトウェアに対して、認定されたハードウェアプラットフォームは複数ありますか。

評価の方法

複数のベンダーに裏付けられた認定済みハードウェアリストを確認してください。オープンな商用 NOS の選択肢は、異なるメーカーの Broadcom Tomahawk 5 プラットフォーム（例：Edgecore AIS800-64D や UfiSpace S9321-64E）上で同じソフトウェアを稼働させ、セカンドソースを理論上ではなく現実のものにします。これに対し、クローズドなシングルベンダーの NIC、スイッチ、スケジューラーの SKU では、部品はその組み合わせでしか動作しません。有用な問いは、ある製品と別の製品の比較ではなく、同じファブリックについて何社のサプライヤーに責任を求められるかです。

4

運用、自動化、テレメトリ

立ち上げが難しいファブリックや、本番環境で状況が見えないファブリックは、価格以上のコストがかかります。プロビジョニング、監視、チューニングの方法といった運用モデルは、ハードウェア到着後に考えるものではなく、主要な購入基準です。

確認すべき質問

  • OpenConfig モデルによる gNMI 経由のストリーミングテレメトリはありますか。
  • 大規模なファブリック立ち上げに向けたゼロタッチプロビジョニング（ZTP）はサポートされていますか。
  • Ansible などの標準ツールで自動化でき、DCBX で QoS をシグナリングできますか。

評価の方法

テレメトリと自動化は、スライドではなく候補ベンダー自身のドキュメントで確認させてもらいましょう。優れた回答には、オブザーバビリティスタックへの gNMI と OpenConfig のストリーミングテレメトリ、プロビジョニングのための ZTP、ロスレスシグナリングのための DCBX と LLDP、そして Ansible ベースの構成が含まれます。重要なのは立ち上げ時のクローズドループチューニングです。一度設定して祈るだけのブラックボックスではなく、PFC と ECN のしきい値を詰めていく間に監視できるキューごとのカウンターとバッファ状態が必要です。

5

サポートと責任の所在

午前 3 時にトレーニングの実行が止まったとき、問題は誰が修正の責任を負うかです。単一の責任ある契約がないマルチベンダー構成では、NIC、スイッチ、光モジュール、ソフトウェアの各ベンダー間で責任の押し付け合いになります。解決策は 1 つのクローズドなスタックではなく、1 つの契約です。

確認すべき質問

  • ソフトウェアと認定済みハードウェアをカバーする単一のサポート契約はありますか。
  • TAC と SLA はそれぞれ 1 つですか。それとも複数を調整する必要がありますか。
  • 購入する特定のハードウェアとソフトウェアの組み合わせを検証したのは誰ですか。

評価の方法

責任の所在とロックインを切り分けてください。求めるべきは、シングルベンダーのハードウェアではなく、シングルベンダーの責任体制です。優れたパターンは、オープンなハードウェアの選択肢と 1 つのサポート契約を組み合わせたものです。ソフトウェアと認定済みハードウェアをカバーする 1 つの契約、1 つの TAC、1 つの SLA により、部品をオープンに調達しても、障害はエンドツーエンドで責任を持って対応されます。

6

標準とロードマップ

AI ファブリックのトランスポートは急速に進化しています。Ultra Ethernet Consortium（UEC）は、AI と HPC 向けのオープンなマルチパスイーサネットトランスポートを公開しており、そのエンドポイント動作は UEC 対応 NIC 上で実行されます。各ベンダーが現在本番で稼働させているものと、計画しているものを区別してください。

確認すべき質問

  • ベンダーは Ultra Ethernet Consortium のメンバーですか？
  • ファブリックは現在本番で何を稼働させており、どのシリコン上で動作していますか？
  • ロードバランシングと輻輳制御について、近い将来のロードマップには何がありますか。

評価の方法

出荷済みのものと計画中のものを区別してください。IP Infusion は Ultra Ethernet Consortium のメンバーであり、OcNOS-DC は Broadcom Tomahawk 4 および Tomahawk 5 スイッチ上で、PFC、ECN マーキング、DLB によるロスレス RoCEv2 を現在本番環境で稼働させています。DCQCN は NIC 上で動作し、これらの ECN マークに反応します。Global Load Balancing（GLB）は OcNOS 7.1 で提供予定です。ロードマップについては具体的な項目を確認してください：レイテンシーベースの ECN（7.1.0）、リンクレベルのリトライ、クレジットベースのフロー制御、パケットトリミング。詳しくは InfiniBand対イーサネット で、オープンな選択肢との比較をご覧ください。

バイヤーチェックリスト

クローズドなシングルベンダースタック、コミュニティ NOS、オープンな商用 NOS のいずれであっても、すべての候補ファブリックを同じリストで確認してください。チェックできない項目があれば、重要ではないと判断する前にその理由を尋ねてください。

  • ロスレスな基盤。 PFC（L3 上、DCBX、LLDP を含む）、ECN と Dynamic ECN、ETS、WRED、PFC デッドロックの検出と回復を備えた RoCEv2。
  • 動的ロードバランシング。 静的な ECMP ハッシュだけでなく、ホットリンクからフローを再分散します。
  • 1:1 ノンブロッキングの GPU プレーン。 GPU ファブリックにオーバーサブスクリプションがなく、目標 GPU 数に合わせてサイジングされ、次の階層への余裕を備えていること。
  • トポロジの適合性。 ご購入予定のシリコン上での、レール最適化シングルポッド設計と 3 階層マルチポッド設計。
  • ハードウェアの選択： 同じ NOS に対して認定済みのハードウェアベンダーが複数あり、セカンドソースが現実のものであること。
  • オープンなトランスポート。 独自の NIC、スイッチ、スケジューラーのバンドルではなく、標準ベースの Ethernet。
  • テレメトリと自動化。 gNMI と OpenConfig のストリーミングテレメトリ、ZTP、DCBX、Ansible。
  • 責任を負う 1 つの契約。 1 つのシステムとして購入したソフトウェアとハードウェアにまたがる単一のサポート契約、1 つの TAC、1 つの SLA。
  • 標準のロードマップ。 ベンダーが Ultra Ethernet Consortium のメンバーであり、ロードバランシングと輻輳制御のロードマップ項目を明示している。

OcNOS-DC によるオープン Ethernet の位置付け

上記の基準を読み、ご自身のクラスターに最も高いスコアとなるものを選んでください。単一の責任ある契約とともにオープンなハードウェアの選択肢を求める購入者に向けて、同じチェックリストに対する IP Infusion の対応状況を、他の選択肢と比較できるよう率直に示します。

本番 RoCEv2 ファブリック

OcNOS-DC は、Broadcom Tomahawk 5 上で RoCEv2 が必要とするロスレス Ethernet ファブリックを提供します：DCBX と LLDP による PFC over L3、ECN と Dynamic ECN、ETS、WRED、PFC デッドロックの検出と回復、そしてリアクティブなパス再分散を備えた DLB。

4,096 から 16,000+ GPU

2 階層の TH5 ポッドは GPU あたり 800G、1:1 ノンブロッキングで 4,096 GPU に到達します。それを超えると、スーパースパイン階層で 16,000+ GPU まで拡張します。

マルチベンダーのハードウェア

複数メーカーの Tomahawk 5 プラットフォームにまたがる 1 つの NOS。Edgecore AIS800-64D、UfiSpace S9321-64E、400G ZR+ 対応の S9321-64EO を含み、セカンドソースを現実のものに保ちます。

オープンなテレメトリと自動化

gNMI と OpenConfig のストリーミングテレメトリ、ZTP、DCBX、Ansible に加え、クローズドループの立ち上げのための RTAG7 ハッシュとバッファチューニング。

OcNOS Systems：1 つの契約、1 つの TAC、1 つの SLA

OcNOS Systems なら、IP Infusion との単一の契約で OcNOS ソフトウェアと認定済みハードウェアをカバーするため、シングルベンダーのロックインなしにシングルベンダーの責任体制を得られます。

UEC メンバー、具体的なロードマップ

IP Infusion は Ultra Ethernet Consortium のメンバーです。GLB は OcNOS 7.1 で提供予定であり、レイテンシーベースの ECN も OcNOS-DC 向けの OcNOS 7.1 リリーストレインで提供予定です。

AI ファブリックソリューション AIファブリックトポロジー レール最適化ネットワーク InfiniBand対イーサネット RoCE と InfiniBand の比較 AI ファブリック設計スイート

AI ファブリック バイヤーズガイド FAQ

AI ファブリックを選ぶとき、最初に何を評価すべきですか。
トレーニングのスループットを守るのはそこなので、まず GPU プレーンのロスレス性能から始めてください。ファブリックが RDMA に必要なロスレス RoCEv2 基盤を提供していることを確認します：PFC（L3 上、DCBX と LLDP によるシグナリングを含む）、ECN と Dynamic ECN のマーキング、WRED、PFC デッドロックの検出と回復。次に、コレクティブ実行中にどのリンクもホットスポットにならないよう、動的ロードバランシングを確認します。性能が確定してから、規模、オープン性、運用、サポート、ロードマップを比較検討してください。
AI に適しているのは Ethernet と InfiniBand のどちらですか。
どちらも AI トラフィックを伝送できます。違いはエコシステムとロックインです。InfiniBand は独自のケーブルと管理を持つシングルベンダースタックです。Ethernet はマルチベンダーで標準ベースです：PFC と ECN を備えた RoCEv2 が現在ロスレス RDMA を提供し、Ultra Ethernet Consortium（UEC）の方向性がオープンなハードウェア上で残る性能差を埋めていきます。ハードウェアの選択肢を求め、シングルベンダーへの依存を避けたい購入者にとって、オープンな Ethernet はロックインの少ない道です。詳しくは当社の InfiniBand対イーサネット と RoCE と InfiniBand の比較 比較をご覧ください。
何 GPU 分を想定して計画すべきですか。
最初に購入するクラスターだけでなく、将来成長していくクラスターを想定して計画し、トポロジのために再構築を強いられないようにします。Tomahawk 5 スイッチでは、2 階層のリーフスパインが GPU あたり 800G、1:1 ノンブロッキングで 4,096 GPU に到達します。各スイッチは 128×400G として動作し、各 GPU は 2 つの 400G リーフポートに接続されます。それを超えると、同じレール最適化ポッドの上にスーパースパイン階層を重ねて 16,000+ GPU まで拡張します。最初の概算は次で行えます： AI ファブリック設計スイート.
ベンダーロックインを避けるにはどうすればよいですか。
購入するレイヤーを切り分けてください。クローズドな AI ファブリックは NIC、スイッチ、スケジューラーを 1 社のサプライヤーに結び付けるため、価格とロードマップはそのサプライヤーが決めることになります。オープンネットワーキングのアプローチでは、複数のハードウェアベンダーの標準 Ethernet シリコン上で商用 NOS を稼働できるため、ハードウェアの選択肢を維持し、セカンドソースを確保できます。スイッチ、NOS、光モジュールをそれぞれ独立して調達できるか、そしてファブリックが独自のトランスポートではなく、公開された標準ベースの Ethernet 上で動作するかを確認してください。
UEC は購入にどのような意味を持ちますか。
Ultra Ethernet Consortium（UEC）は、AI と HPC 向けのオープンなマルチパスイーサネットトランスポートを公開しています。UEC 1.0 は 1 つのフローを多数のパスに分散し、そのエンドポイント動作は UEC 対応 NIC 上で実行されます。現時点での購入は、ファブリックが今本番で稼働させている内容に基づいて判断し、各ベンダーには具体的なロードマップ項目を確認してください。IP Infusion は UEC のメンバーであり、OcNOS-DC は Broadcom Tomahawk 4 および Tomahawk 5 スイッチ上で、PFC、ECN マーキング、DLB によるロスレス RoCEv2 を現在本番環境で稼働させています。DCQCN は NIC 上で動作し、これらの ECN マークに反応します。
ハードウェアとソフトウェアを 1 社のベンダーにそろえる必要がありますか。
必要なのは責任を負う 1 つの契約であり、それは 1 つのクローズドなスタックと同じではありません。オープンネットワーキングでは、スイッチハードウェアと NOS を別々に選び、単一のサポート契約のもとで購入します。IP Infusion では、スイッチを OcNOS Systems としてご購入いただくと、1 つの契約で OcNOS ソフトウェアとハードウェアをカバーし、TAC と SLA もそれぞれ 1 つです。シングルベンダーへのロックインなしに、シングルベンダーの責任体制が得られます。お客様ご自身で購入したハードウェアの場合、IP Infusion がソフトウェアを、メーカーがハードウェアをサポートします。

OcNOS で AI ファブリック全体を設計

ビジネスケースからポート数の計算まで、構築のどの段階からでも着手できます。

ソリューション オープン AI ファブリック 完全な 800G AI ファブリック。オープンスイッチ、OcNOS-DC、そしてサポートを 1 つの契約で。 リファレンスデザイン AIファブリックトポロジー レール最適化された 2 階層および 3 階層のファブリックと coherent DCI を、実際のポート数でサイジング。 サイジングと構築 AI ファブリック設計スイート GPU ファブリックをサイジング。leaf、spine、super-spine の数を、コンポーネントおよび電力のサマリーとともに算出。
AIファブリックは初めてですか？ここから AIファブリックとは？ GPUファブリックとは？ ロスレスイーサネットとは？ RDMAとは？ AIネットワーキングスイッチ
内部の技術 ロスレス RoCEv2 レール最適化ネットワーク DLB GLB (7.1) Ultra Ethernet Tomahawk 5 Tomahawk 6（1.6T） Broadcom シリコン DCQCN PFC デッドロック InfiniBand対イーサネット RoCE と InfiniBand の比較 AI ファブリックアーキテクチャ コヒーレント DCI
ファブリックを評価 AI ネットワーキングファブリックの選び方 AI ファブリックの実証ポイント ネオクラウドネットワーキング

さらに詳しく。資料をお持ち帰りください。

本ページよりさらに踏み込んだ、短く技術的な 2 つのダウンロード。OcNOS-DC の完全なデータシートと、ロスレス 800G AI ファブリックアーキテクチャです。

データシート

OcNOS-DC データシート

OcNOS-DC の完全な仕様。EVPN-VXLAN と Ethernet for AI の機能セット、ソフトウェア SKU、サポート対象ハードウェアプラットフォーム、ソリューション発注ガイドを収録しています。

データシートを入手
ソリューションブリーフ

OcNOS 800G ロスレス AI Fabric

Tomahawk 5 スパイン上のロスレス RoCEv2 ファブリック：SKU 階層、認定済みプラットフォーム、導入アーキテクチャ。

概要資料を入手

クラスター向けのファブリックを評価中ですか。チェックリストを一緒に確認します。

アーキテクチャレビューを予約 →