AI Fabricトポロジ：レール最適化設計とスケジュール設計
トポロジを GPU 数に合わせます。約1,000 GPU までの rail-optimized リーフスパインポッド、16,000以上までの3ステージ Clos、そして拠点間をまたぐ coherent DCI です。 コレクティブ実行中にあらゆる GPU のリンクを飽和状態に保つ、最小のノンブロッキング設計を選びます。3つすべてが、ロスレス RoCEv2（PFC + ECN）の L3 ファブリック上で OcNOS-DC により動作し、ここでは Broadcom Tomahawk 4 および Tomahawk 5 上の具体的なポート数でサイジングされています。
各 GPU 数に適合する最小のノンブロッキング設計
AI ファブリックトポロジの役割はひとつ。コレクティブ実行中に、テールレイテンシの外れ値を生むことなく、あらゆる GPU の送出リンクを飽和状態に保つことです。適切なトポロジは、各 GPU 数に対してこれを実現する最小のものであり、ひとつ上の規模へのフォールバック経路を備えます。Broadcom Tomahawk シリコン上の具体的なポート計算を伴う、4つの参照点です。
2階層リーフスパインの上限は、GPU あたり1本の 800G ファブリックポートで約 2,048 GPU です。それを超える場合は super-spine 階層を追加します。同一の OcNOS-DC イメージがあらゆる階層で動作するため、ファブリックは各段階で再設計されることなくクラスターとともにスケールアウトします。
ご自身のクラスタをサイジングしますか。 The AI Fabric Design Suite は、迅速な初回の見積もりを提供します。GPU あたり1つのファブリック NIC を前提にノンブロッキングの2階層リーフスパインポッドをサイジングし、3階層規模へと移行する際にはそれを示します。以下のリファレンスデザインは、同じノンブロッキングの leaf/spine 計算を用い、それを大規模な3ステージ Clos へと拡張するため、スイッチ数はツールと一致します。ここでの Rail-optimized は、そのノンブロッキングファブリック上に重ねられた 8-NIC GPU サーバーの配線規律（leaf ごとに1本の rail、これにより rail 内 AllReduce が leaf 上にとどまる）であり、トラフィックの局所性を変えるものであってスイッチ数を変えるものではありません。概算にはツールを、構築にはこれらの設計をご利用ください。
Rail-optimized、scheduled Clos、coherent DCI
OcNOS-DC は、single-pod、multi-pod、multi-site の AI ファブリックを網羅する3つのリファレンストポロジに対応して提供されます。いずれもホワイトボードのスケッチではなく、HCL 掲載の Broadcom ハードウェア上でサイジングされた具体的な構築です。
レール最適化シングルポッド
各 GPU サーバーの 8 基の NIC が 8 台の専用レールリーフに接続、これにより同一レール内の AllReduce は 1 台のリーフ内にとどまり、スパインを一切経由しません。ノンブロッキングのスパインがレール間フローを伝送します。シングルポッドのスケーラブルユニットで、最大約 1,000 GPU まで対応。
スケジュール方式 3 ステージ Clos
リーフ・スパイン・ super-spine の各階層が 4,096 から 16,384 GPU までスケール。各ポッド内はノンブロッキングで、スーパースパインプレーンがポッド間比率を決定します。全ホップで DLB、OcNOS 7.1 train ではエンドツーエンドの GLB を実現。
コヒーレントマルチ DC DCI
トレーニング実行が複数のデータホールにまたがる場合、ファブリックを次で拡張します。 400G ZR / ZR+ コヒーレント光 をスパインに搭載。サイト間はトランスポンダー不要の DCI を実現し、サイト内の 3 ステージ Clos は変更なし。
レール最適化シングルポッド
各 GPU サーバーはレールごとに 1 基、計 8 基の NIC を備えます（各レールは専用の xCCL（NCCL / RCCL / oneCCL）コレクティブチャネル）。各レールはそれぞれ専用のリーフとなり、全サーバーの 8 基の NIC がすべて異なるリーフに接続されます。rail-N をまたぐ AllReduce は leaf-N 内にとどまるため、支配的なコレクティブパターンにおいてスパインへの east-west 負荷が生じません。
OcNOS構成要素： BGP-unnumbered L3 アンダーレイ、全リーフで RoCEv2 ロスレス（PFC + ECN）、スパイン階層で DLB。HCL 掲載ハードウェア上に構築：800G スケーラブルユニットは TH5 64x800G のリーフとスパイン（Edgecore AIS800-64D または UfiSpace S9321-64E）を使用、エントリーの 256-GPU ポッドは Edgecore AS9736-64D（TH4、64x400G）を使用します。
3 ステージ Clos スケジュール方式ファブリック：4,096 から 16,384 GPU
レール最適化は 1k から 2k GPU のあたりでスケールが頭打ちになります。リーフの radix が尽きるか、スパイン階層のオーバーサブスクリプションが過大になるためです。それ以上では、最新の AI ファブリックの多くが 3 ステージ Clos（リーフ・スパイン・スーパースパイン）へ移行します。任意の 2 つの GPU は最大でも 4 スイッチホップの距離にあり、同一リーフおよび同一ポッドのピアはより近くなります。
Clos における難所は、いずれのリンクもホットスポットにならないようフローを均等に分散させることです。手法は per-flow ECMP から、適応型（動的）ロードバランシングを経て、Ultra Ethernet が採用する per-packet スプレー（リオーダリングは NIC 側で処理）まで多岐にわたります。別系統として、Broadcom DDC のようなセルベースのスケジュール方式ファブリックがあり、トラフィックをセルに分割してファブリック内部でスケジューリングします。OcNOS は現在 DLB で GPU プレーンのバランスを保ち、7.1 train でファブリック全体の GLB を追加し、UEC NIC の登場に合わせて UEC-ready となります。
この図は模式的なもので、階層数を簡略化して描いています。4,096-GPU 構成は TH5 800G 上で 128 リーフ / 64 スパイン / 32 スーパースパインです。
OcNOS構成要素： eBGP-unnumbered L3 アンダーレイ、RoCEv2 ロスレス（PFC + ECN）、全階層で DLB、OcNOS 7.1 train でエンドツーエンドの GLB、そして各オブザーバビリティスタックへの gNMI ストリーミングテレメトリ。全体を通して HCL 掲載の TH5 64x800G シャーシ上に構築します。
サブスクリプション比率は固定ルールではなく、調整可能なダイヤルです。 これらの台数により各 1,024-GPU ポッドは 1:1 ノンブロッキングとなり、ポッド間トラフィックにはコスト最適化された約 2:1 のスーパースパインを使用します。これはハイパースケール Ethernet ファブリックが依拠するレール最適化アプローチです（公表されている大規模設計では、コレクティブトラフィックがポッドローカルにとどまるため、最上位階層をはるかに大きくオーバーサブスクライブしています）。代わりに any-to-any の余裕を最大化したい場合は、完全ノンブロッキングの 1:1 構成が 4,096 GPU で 128 / 128 / 64、16,384 GPU で 512 / 512 / 256 となり、変化するのはスパインとスーパースパインの台数のみです。いずれも次でモデル化できます。 AI Fabric Design Suite.
マルチ DC AI ファブリック：コヒーレント DCI
単一のトレーニング実行が複数のデータホールにまたがる場合（兆パラメータ級モデルではますます一般的です）、ファブリックは WAN をまたいで拡張されます。OcNOS-DC は 400G ZR / ZR+ コヒーレント光をスパインに直接サポートし、サイト間でトランスポンダー不要の DCI を実現します。各サイトの基盤となる 3 ステージ Clos は変更ありません。
OcNOS構成要素： DWDM 対応のスパインまたはボーダーリーフポートに 400G ZR/ZR+ プラガブルコヒーレント光を搭載し、サイト間で gNMI テレメトリを提供します。外部トランスポンダーは不要。到達距離：400ZR は増幅時で約 120 km、OpenZR+ は oFEC でさらに遠方まで到達します。
設計の目安
いずれのリファレンスデザインから構築する場合でも、わずかな原則を守ることで AI ファブリックを性能とコストのカーブの適切な側に保てます。
- トポロジーをGPU数に合わせる。 最小規模のポッド（リーフ1台の NIC 基数未満）：レールのみで十分。シングルポッド規模：レール最適化リーフ・スパイン。マルチポッド：3段 Clos が、オーバーサブスクリプションの妥協なくスケールする唯一の設計。
- AI プレーンでは常に 1:1 サブスクリプション。 ストレージおよび CPU ラックは、より高いオーバーサブスクリプション比率で運用できます。GPU プレーンではそれを避けてください。
- レール数は配線の都合ではなく xCCL を起点に決定します。 8 レールは 8-NIC GPU サーバーにおける現在の事実上の標準です。複数のレールをより少数のリーフに統合しないでください。
- バッジではなく、電力と密度でシリコンを選択。 TH4（25.6T）とTH5（51.2T）が主力です。両者の選択は、ラック電力とブレイクアウトケーブルのコストによって決まります。
- 設計段階からGLB／UECを見据えた計画を。 7.0ファブリックであっても初日からテレメトリプレーンを組み込んでおくことで、OcNOS 7.1のGLBアップグレードを純粋なソフトウェアステップにできます。以下を参照 GLB and Ultra Ethernet.
- HCLに照らして検証。 ここで紹介する各リファレンスは、以下に記載のハードウェア上に構築： OcNOSハードウェア互換性リスト。そこから選択することで第一級のサポートを実現。
AI ファブリックトポロジ FAQ
レール最適化トポロジとは何か、また rail-only とはどう異なるのか。
3 ステージ Clos は何 GPU までスケール可能か。
Tomahawk 4 と Tomahawk 5 のどちらを使うべきか。
InfiniBand が必要か、それとも Ethernet で十分か。
スケールアップはどこで終わり、スケールアウトはどこから始まるのか。
さらに詳しく。資料をお持ち帰りください。
製品データシートと、このページよりもさらに踏み込んだ簡潔で技術的なダウンロード資料です。
OcNOS-DC データシート
OcNOS-DC の完全な仕様。EVPN-VXLAN と Ethernet for AI の機能セット、ソフトウェア SKU、サポート対象ハードウェアプラットフォーム、ソリューション発注ガイドを収録しています。
データシートを入手OcNOS 800G ロスレス AI Fabric
Broadcom Tomahawk 4／5 スパインによるノンブロッキング RoCEv2 ファブリック。SKU 階層・検証済みプラットフォーム・導入アーキテクチャを解説します。
概要資料を入手EVPN-VXLAN データセンターファブリック
キャリアグレードの leaf-spine データセンターファブリック。対称型 IRB、Type-2/Type-5 ルート、そして分散エニーキャストゲートウェイ。
概要資料を入手OcNOS-DC データシート
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
OcNOS 800G ロスレス AI Fabric
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
EVPN-VXLAN データセンターファブリック
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
AIファブリックの設計をご検討ですか。ポート数の試算を一緒に進めましょう。
ワークロードと GPU 規模をお知らせいただければ、IP Infusion のエンジニアがリーフ・スパイン・スーパースパインの各階層のサイジングを共に行います。あるいは AI Fabric Design Suite で初回レイアウトから着手することも可能です。
OcNOS で AI ファブリック全体を設計
ビジネスケースからポート数の計算まで、構築のどの段階からでも着手できます。