AI ファブリックトポロジ：最大 16K GPU のレール最適化設計
トポロジーを GPU 数に合わせます。最大 4,096 GPU まではレール最適化された 2 階層のリーフスパインポッド、それを超えて最大 16,384 GPU までは 3 つ目のスーパースパイン階層、そして拠点間をまたぐにはコヒーレント DCI です。 コレクティブ実行中にあらゆる GPU のリンクを飽和状態に保つ、最小のノンブロッキング設計を選びます。3つすべてが、ロスレス RoCEv2（PFC + ECN）の L3 ファブリック上で OcNOS-DC により動作し、ここでは Broadcom Tomahawk 4 および Tomahawk 5 上の具体的なポート数でサイジングされています。
各 GPU 数に適合する最小のノンブロッキング設計
AI ファブリックトポロジの役割はひとつ。コレクティブ実行中に、テールレイテンシの外れ値を生むことなく、あらゆる GPU の送出リンクを飽和状態に保つことです。適切なトポロジは、各 GPU 数に対してこれを実現する最小のものであり、ひとつ上の規模へのフォールバック経路を備えます。Broadcom Tomahawk シリコン上の具体的なポート計算を伴う、3 つの参照点です。
2 階層のリーフスパインは GPU あたり 800G で 4,096 GPU に到達します。1,024 GPU の構成はリーフ 32 台とスパイン 16 台、計 48 台のスイッチです。4,096 GPU を超える場合は、スーパースパイン階層を追加します。すべての階層で、その役割に合ったエディションの OcNOS-DC が動作するため、ファブリックは各段階で再設計されることなくクラスターとともにスケールアウトします。
ご自身のクラスタをサイジングしますか。 AI ファブリック設計スイート は迅速な概算を提供します。ノンブロッキングの 2 階層リーフスパインポッドをサイジングし、3 階層規模に移行する時点を示します。以下のリファレンスデザインは同じノンブロッキングのリーフ／スパイン計算を用い、4,096 GPU を超えるとスーパースパイン階層を追加するため、スイッチ台数はツールと一致します。ここでいうレール最適化とは、8-NIC GPU サーバーの配線方式（リーフごとに 1 レールとし、レール内の AllReduce をリーフ上に留める）を、そのノンブロッキングファブリックの上に重ねたものです。変わるのはトラフィックの局所性であり、スイッチ台数ではありません。目安にはツールを、構築にはこれらの設計をご利用ください。
2 階層ポッド、3 階層ファブリック、コヒーレント DCI
3 つのリファレンストポロジーが、シングルポッド、マルチポッド、マルチサイトの AI ファブリックをカバーし、それぞれ HCL 掲載の Broadcom ハードウェアでサイジングされています。
レール最適化シングルポッド
各 GPU サーバーの 8 基の NIC が 8 台の専用レールリーフに接続、これにより同一レール内の AllReduce は 1 台のリーフ内にとどまり、スパインを一切経由しません。ノンブロッキングのスパインがレール間フローを伝送します。Tomahawk 5 上で最大 4,096 GPU に対応するシングルポッドのスケーラブルユニットです。
3 階層レール最適化ファブリック
リーフ・スパイン・ スーパースパイン の各階層により、ファブリックは 4,096 GPU を超え、リファレンスデザインでは 16,384 GPU に達します。各ポッド内はノンブロッキングで、スーパースパインプレーンがポッド間比率を決定します。全ホップで DLB、OcNOS 7.1 ではエンドツーエンドの GLB。
コヒーレントマルチ DC DCI
トレーニング実行が複数のデータホールにまたがる場合、ファブリックを次で拡張します。 400Gまたは800G ZR / ZR+ コヒーレント光 をスパインに搭載。サイト間はトランスポンダー不要の DCI を実現し、サイト内のファブリックは変更なし。
レール最適化シングルポッド
各 GPU サーバーはレールごとに 1 基、計 8 基の NIC を備えます（各レールは専用の xCCL（NCCL / RCCL / oneCCL）コレクティブチャネル）。各レールはそれぞれ専用のリーフとなり、全サーバーの 8 基の NIC がすべて異なるリーフに接続されます。rail-N をまたぐ AllReduce は leaf-N 内にとどまるため、支配的なコレクティブパターンにおいてスパインへの east-west 負荷が生じません。
OcNOS構成要素： BGP-unnumbered L3 アンダーレイ、全リーフで RoCEv2 ロスレス（PFC + ECN）、スパイン階層で DLB。HCL 掲載ハードウェア上に構築：256-GPU ポッドから 4,096-GPU の 2 階層上限まで、すべての階層で TH5 64x800G のリーフとスパイン（Edgecore AIS800-64D または UfiSpace S9321-64E）を使用し、128x400G として動作させることで各 GPU を 2 つの 400G リーフポートに接続します。Tomahawk 4（Edgecore AS9736-64D、64x400G）は、GPU あたり 400G NIC を 1 つ持つファブリックに適しています。
3 階層レール最適化ファブリック：4,096 GPU 超
Tomahawk 5 上の 2 階層レール最適化ポッドは、GPU あたり 800G で 4,096 GPU が上限となり、そこでスパインのポートが尽きます。それを超えると、同じレール最適化設計に 3 つ目の階層を追加します：リーフ、スパイン、スーパースパイン。任意の 2 つの GPU 間は最大 4 スイッチホップで、同一リーフや同一ポッドのピアはさらに近くなります。
Clos における難所は、いずれのリンクもホットスポットにならないようフローを均等に分散させることです。手法は フロー単位の ECMP から、動的ロードバランシングを経て、Ultra Ethernet が採用する パケット単位のスプレー（リオーダリングは NIC 側で処理）まで多岐にわたります。別系統として、Broadcom DDC のようなセルベースのスケジュール方式ファブリックがあり、トラフィックをセルに分割してファブリック内部でスケジューリングします。OcNOS は DLB で GPU プレーンのバランスを保ち、OcNOS 7.1 でファブリック全体の GLB を追加します。
この図は模式的なもので、階層数を簡略化して描いています。16,384-GPU 構成は TH5 800G 上でリーフ 512 / スパイン 256 / スーパースパイン 128 です。
OcNOS構成要素： eBGP-unnumbered L3 アンダーレイ、RoCEv2 ロスレス（PFC + ECN）、全階層で DLB、OcNOS 7.1 でエンドツーエンドの GLB、そして各オブザーバビリティスタックへの gNMI ストリーミングテレメトリ。全体を通して HCL 掲載の TH5 64x800G シャーシ上に構築します。
サブスクリプション比率は固定ルールではなく、調整可能なダイヤルです。 これらの台数により各 1,024-GPU ポッドは 1:1 ノンブロッキングとなり、ポッド間トラフィックにはコスト最適化された約 2:1 のスーパースパインを使用します。これはハイパースケール Ethernet ファブリックが依拠するレール最適化アプローチです（公表されている大規模設計では、コレクティブトラフィックがポッドローカルにとどまるため、最上位階層をはるかに大きくオーバーサブスクライブしています）。代わりに any-to-any の余裕を最大化したい場合は、完全ノンブロッキングの 1:1 構成が 16,384 GPU で 512 / 512 / 256 となり、変化するのはスパインとスーパースパインの台数のみです。いずれも次でモデル化できます： AI ファブリック設計スイート.
マルチ DC AI ファブリック：コヒーレント DCI
単一のトレーニング実行が複数のデータホールにまたがる場合、ファブリックは WAN をまたいで拡張されます。OcNOS-DC はスパイン上でコヒーレント光を直接サポートし、サイト間でトランスポンダー不要の DCI を実現します。Tomahawk 4 および Trident 4 スイッチでは 400G ZR と OpenZR+、Tomahawk 5 の Edgecore AIS800-64D および UfiSpace S9321-64E では 800G ZR と OpenZR+ に対応します。各サイト内のファブリックは変更ありません。
OcNOS構成要素： DWDM 対応のスパインまたはボーダーリーフポートに 400G または 800G ZR/ZR+ プラガブルコヒーレント光を搭載し、サイト間で gNMI テレメトリを提供します。外部トランスポンダーは不要。到達距離：400ZR は増幅時で約 120 km、OpenZR+ は oFEC でさらに遠方まで到達します。
設計の目安
いずれのリファレンスデザインから構築する場合でも、わずかな原則を守ることで AI ファブリックを性能とコストのカーブの適切な側に保てます。
- トポロジーをGPU数に合わせる。 最小規模のポッド（リーフ 1 台の NIC 基数未満）：レールオンリーで十分。シングルポッド規模、Tomahawk 5 で最大 4,096 GPU：レール最適化リーフスパイン。それを超える場合：同じレール最適化設計にスーパースパイン階層を追加し、ポッドはノンブロッキングのまま、ポッド間比率はワークロードに合わせて設定します。
- AI プレーンでは常に 1:1 サブスクリプション。 ストレージおよび CPU ラックは、より高いオーバーサブスクリプション比率で運用できます。GPU プレーンではそれを避けてください。
- レール数は配線の都合ではなく xCCL を起点に決定します。 8 レールは 8-NIC GPU サーバーにおける現在の事実上の標準です。複数のレールをより少数のリーフに統合しないでください。
- バッジではなく、電力と密度でシリコンを選択。 TH4（25.6T）とTH5（51.2T）が主力です。両者の選択は、ラック電力とブレイクアウトケーブルのコストによって決まります。
- HCLに照らして検証。 ここで紹介する各リファレンスは、以下に記載のハードウェア上に構築： OcNOSハードウェア互換性リスト。そこから選択することで第一級のサポートを実現。
AI ファブリックトポロジ FAQ
レール最適化トポロジとは何か、また rail-only とはどう異なるのか。
AI ファブリックに 3 つ目の階層が必要になるのはいつですか。
Tomahawk 4 と Tomahawk 5 のどちらを使うべきか。
InfiniBand が必要か、それとも Ethernet で十分か。
スケールアップはどこで終わり、スケールアウトはどこから始まるのか。
さらに詳しく。資料をお持ち帰りください。
製品データシートと、このページよりもさらに踏み込んだ簡潔で技術的なダウンロード資料です。
OcNOS-DC データシート
OcNOS-DC の完全な仕様。EVPN-VXLAN と Ethernet for AI の機能セット、ソフトウェア SKU、サポート対象ハードウェアプラットフォーム、ソリューション発注ガイドを収録しています。
データシートを入手OcNOS 800G ロスレス AI Fabric
Tomahawk 5 スパイン上のロスレス RoCEv2 ファブリック：SKU 階層、認定済みプラットフォーム、導入アーキテクチャ。
概要資料を入手EVPN-VXLAN データセンターファブリック
EVPN-VXLAN によるリーフスパイン型データセンターファブリック：テナントごとの VRF と VNI、EVPN マルチホーミング、BGP unnumbered、ルートターゲットフィルタリング。
概要資料を入手OcNOS-DC データシート
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
OcNOS 800G ロスレス AI Fabric
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
EVPN-VXLAN データセンターファブリック
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
AIファブリックの設計をご検討ですか。ポート数の試算を一緒に進めましょう。
ワークロードと GPU 規模をお知らせいただければ、IP Infusion のエンジニアがリーフ・スパイン・スーパースパインの各階層のサイジングを共に行います。あるいは AI Fabric Design Suite で初回レイアウトから着手することも可能です。
OcNOS で AI ファブリック全体を設計
ビジネスケースからポート数の計算まで、構築のどの段階からでも着手できます。