AI fabric 設計ツール
ノンブロッキングな RoCEv2 GPU fabric をエンドツーエンドで、ベンダー中立に設計します。leaf および spine スイッチのサイジング、トランシーバおよびケーブル本数の計画、お客様のクラスタにおける InfiniBand と Ethernet の比較、そして lossless な輻輳プロファイルの取得が可能です。本ツールが行うのはネットワークの設計のみです。コスト見積りや部品表を提供するものではありません。
GPU fabric のサイジング
開始規模を選択するか、GPU数、ポート速度、スイッチシリコンを入力してください。本ツールは、folded two-tierのleaf-spineポッドをサイジングし、クラスタがthree-tier規模に達した場合にそれを示します。
…
台数は、GPU あたり 1 枚の fabric NIC を備えた折り返し型の leaf-spine (Clos) fabric を前提としており、各 leaf はそのポートを GPU と spine アップリンクの間で分割します。rail-optimized な配線 (GPU あたり複数の NIC) はトラフィックの局所性を変えますが、これらのスイッチ台数は変わりません。次を参照してください: AI fabricトポロジのリファレンスデザイン レール最適化構成および 3 階層構成向けです。
コンポーネント概要
サイジング済み設計における fabric リンク、トランシーバ、およびケーブルの数量です。これらは計画用の概算数のみであり、部品表、見積もり、または価格ではありません。
| Component | Basis | Quantity |
|---|---|---|
| GPU 側のリンク | GPUs × 1 NIC | … |
| leafからspineへのfabricリンク | leaves × uplinks | … |
| fabric トランシーバ | links × 2 ends | … |
| ファブリックケーブル | リンクあたり 1 | … |
到達距離別のメディアは、配線に応じて選択します。最大 3 m は DAC または AEC、最大 50 to 100 m は AOC または SR、最大 500 m は DR（主力）、最大 2 km は FR です。到達距離クラスのみを示しています。価格、SKU、ベンダーの部品番号は含みません。3階層設計では、上記の台数に加えて spine から super-spine へのリンクを追加してください。
InfiniBand対イーサネット
6つの要素を対象としたベンダー中立のスコアカードです。入力内容に応じて各要素がどちらに傾くか、そしてその理由を示します。ここでは意図的に単一の勝者を設けていません。最終的な推奨ではなく、設計レビューへの入力としてご活用ください。
| Factor | InfiniBand | Ethernet / RoCEv2 | Ultra Ethernet (trajectory) |
|---|---|---|---|
| ピーク性能InfiniBand 寄り | 低いチューニング労力で得られる 10 パーセント台半ばの生スループットの優位性に加え、集合演算を GPU からオフロードする SHARP のインネットワークリダクションを提供します。 | 適切なチューニングにより InfiniBand と同等の性能を達成します。24,000 基の GPU を用いた RoCEv2 学習クラスタが、性能面で同等の水準で実運用されています。差異は上限ではなく、チューニングに要する労力にあります。 | packet spray と NIC 側のリオーダリングを追加してテールレイテンシを削減し、PFC への依存を低減することで、初期状態での差を縮めます。 |
| CostEthernet寄り | fabric 規模では相応の割増しを伴い、同等の Ethernet と比較して一般に 30 から 60 パーセントの範囲とされます。 | merchant-siliconスイッチと幅広い光学部品のサプライチェーンにより、一般にポートあたりで低コストなfabricとなります。 | Ethernetと同じオープンなmerchant siliconの経済性です。 |
| オープン性Ethernet寄り | スイッチ、NIC、マネージャーまでエンドツーエンドで単一ベンダーのスタックとなるため、マルチベンダー調達は限定されます。 | オープンかつマルチベンダー。多数のサプライヤーから提供される標準ベースのスイッチ、NIC、NOSにより、サプライチェーンの選択肢を確保します。 | オープンな方向性を後押しする業界コンソーシアム標準 (UEC 1.0、2025 年)。 |
| 運用のシンプルさneutral | UFMは、単一の専用fabricマネージャを提供し、RDMAに精通した人員を持たないチームにとってターンキーとなります。 | 豊富なEthernet人材と標準的なツール群を活用できますが、lossless RoCEv2にはエンドツーエンドの入念なチューニングが必要です。 | チューニングの負担を軽減し、EthernetをIBのような設定不要の挙動へと近づけることを目指します。 |
| マルチテナンシーとコンバージェンスEthernet寄り | 通常は専用のバックエンドアイランドであり、ネイティブなマルチテナント分離やストレージコンバージェンスを備えていません。 | 1つの収束した Ethernet fabric で、標準的なテナント分離のもと、バックエンド、ストレージ、フロントエンドのトラフィックを伝送できます。 | 単一のオープンなfabric上で、converged-Ethernetの方向性を拡張します。 |
| TrajectoryEthernet寄り | 成熟して安定しており、低いチューニングで高い性能を発揮しますが、単一ベンダーのロードマップに依存します。 | Ethernet は 2025 年半ばまでに AI back-end の展開を牽引する立場へと転じ、幅広いエコシステムの勢いを得ています。 | UEC 1.0 (2025) は、AI および HPC の back-end fabric を明確に対象とするマルチベンダー仕様です。 |
前提: 性能はチューニングを行ったうえで比較しています（チューニングしていないEthernetは劣り、十分にチューニングしたEthernetは同等に達します）。コストは幅を示すものであり、金額を示すものではありません。オープン性はマルチベンダー調達を意味し、品質の評価ではありません。Ultra Ethernetは2025年以降の方向性を示すものであり、出荷済み製品ではありません。集合演算のチューニングはxCCLライブラリを総称的に指します。本内容は意思決定の参考情報であり、fabricの選定はIP Infusionのエンジニアにご確認ください。
RoCEv2 の lossless プロファイル
RoCEv2 は単一のスイッチ機能ではありません。これは PFC、ECN、ETS から構成されるプロファイルであり、DCQCN が定常状態の処理を担い、PFC が最後の砦として機能します。本ツールは、お客様の設計に適用すべきメカニズムとその適用順序を推奨します。しきい値を出力することはなく、いかなる機器にも変更を加えることはありません。
| Mechanism | lossless プロファイルにおける役割 | OcNOS の可用性 |
|---|---|---|
| PFC | RoCE クラスに対する無廃棄保証です。主たる制御手段ではなく、最後の砦としての機構です。 | 4 つの AI プラットフォームすべて |
| ECN | 輻輳を早期にマーキングし、キューがあふれる前に送信側がレートを抑えるようにします。マーキングポイントは PFC のトリガーより下に調整してください。 | 4 つの AI プラットフォームすべて |
| DCQCN （ECN + PFC） | 定常状態における主たる制御です。ECN マーキングが NIC 側での DCQCN の反応を駆動し、PFC がそれを補完します。単独の機能ではなく、複合的に構成されたものです。 | 4 つの AI プラットフォームすべて |
| ETS | 帯域保証とクラス分離により、lossless クラスが best-effort トラフィックによって枯渇しないようにします。 | 4 つの AI プラットフォームすべて |
| PFC デッドロック ウォッチドッグ | PFC pauseのデッドロックやストーム状態を検出して解消する、PFCバックストップのためのセーフティネットです。 | 4 つすべて、OcNOS 7.0 |
| DLB （動的ロードバランシング） | 静的な ECMP では衝突してしまう大容量（エレファント）の RoCE フローを分散します。ファブリック使用率をおよそ 55 パーセントから 90 パーセント以上へと引き上げます。 | 4 つの AI プラットフォームすべて |
| 動的 ECN | ECN マーキングをリアルタイムのキュー状況に適応させ、負荷の変動に伴う手動での再調整を削減します。 | TH5のみ、OcNOS 7.0 |
| DLB リアクティブ / ランダム | より緊密なフロー分散を実現する高度な DLB 配置モード。TH4 では標準の DLB を使用してください。 | TH5のみ、OcNOS 7.0 |
| GLB （Global Load Balancing） | ローカルな DLB の判断を超えた、fabric 全体にわたる負荷分散。 | ロードマップ、OcNOS 7.1トレイン |
| Ultra Ethernet | NIC 側でのリオーダリングと PFC 依存の低減を伴う packet spray であり、ロスレス AI Ethernet に向けた方向性です。 | ロードマップ、UEC プロファイル |
参考情報のみです。これらの推奨事項はいかなるデバイスにも適用されず、ここでしきい値は生成されません。提供状況は OcNOS-DC に準じます。 機能マトリクス and ハードウェア互換性リスト。デプロイメントの前に、選択したプラットフォームおよび OcNOS リリースに対して検証してください。
fabric の電力
サイジング済み設計における fabric スイッチの一般的な電力範囲です。範囲値のみで、光モジュール実装時の値です。ネットワークスイッチはクラスタ全体の電力のごく一部であり、GPU が大部分を占めます。
冷却: リアドア冷却または直接液冷は、通常、1 ラックあたり約 30 から 40 kW を超える場合に検討されます。これはネットワークではなく GPU サーバの密度によるものです。これは目安であり、算出された熱負荷ではありません。スイッチの消費電力範囲は、光モジュールを実装した 51.2T (Tomahawk 5) および 25.6T (Tomahawk 4) クラスの筐体の代表値です。正確な数値は各プラットフォームのデータシートでご確認ください。
該当する OcNOS-DC プラットフォーム
ファブリックは、オープンな Broadcom Tomahawk ハードウェア上で単一の OcNOS-DC イメージを実行します。以下は、その設計対象となるサポート対象の 800G および 400G プラットフォームです。
本ツールは、計画立案のみを目的とした構造的なネットワーク設計の概算を提供します。性能保証、部品表（BOM）、コスト見積もりではありません。実際の設計は、レール最適化、GPU あたりの NIC 数、配線、障害ドメインの選択に左右されます。GPU 数は Clos radix の計算に基づくリファレンス設計上の上限値であり、実測値ではありません。Broadcom および Tomahawk は Broadcom Inc. の商標です。その他の名称は各所有者の商標です。
AI Fabricリファレンスデザイン
リファレンスデザインの PDF を入手できます。トポロジー、スイッチ台数、コンポーネント概要、および RoCEv2 の lossless 初期プロファイルが含まれます。
AI Fabricリファレンスデザイン
簡単なフォームです：送信後すぐに PDF がダウンロードされます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
よくあるご質問
GPU クラスタ向けの leaf-spine fabric はどのようにサイジングすればよいですか。
rail-optimizedトポロジとは何ですか。
AI fabric には何個のトランシーバが必要ですか。
AI に適しているのは RoCEv2 と InfiniBand のどちらですか。
RoCEv2 向けに AI fabric を lossless にするにはどうすればよいですか。
同一の OcNOS イメージがファブリック内のすべてのスイッチで動作しますか。
Design the whole AI fabric with OcNOS
From the business case to the port-count maths, pick up wherever you are in the build.