OcNOS 7.1 で提供予定 · エンドツーエンド

Global Load Balancing:ファブリック全体の経路選択

DLB は 1 ホップで正しい判断を下し、GLB はファブリック全体にわたって正しい判断を下します。 OcNOS 7.1 で提供予定の Global Load Balancing は、ロードバランシングをポート単位の視点からエンドツーエンドのパス品質へと拡張し、16,384 GPU の上限に至る 3 階層 AI ファブリック上でのマルチホップホットスポットのギャップを埋めます。

OcNOS 7.1GLB のリリース
エンドツーエンドローカルホップではなくパススコアリング
16,384GPU 上限、リファレンスデザイン

ローカルホップだけでなくパス全体をスコアリング

GPU の AllReduce を運ぶ 3 階層スライス(リーフ、スパイン、スーパースパイン)。GLB はローカルの出力スコアが最良のパスではなく、エンドツーエンドのスコアが最良のパスを選択するため、輻輳したダウンリンクにつながるクリーンなアップリンクがやみくもに選ばれることはなくなります。

3 階層 AI ファブリック全体での Global Load Balancing 3 階層 AI ファブリックです。最上段に 2 台のスーパースパイン、中段に 4 台のスパイン、最下段に 2 台のリーフを配置します。テレメトリの矢印が上方向と下方向に流れることで、入口リーフがエンドツーエンドのパス品質を把握します。スパインからスーパースパインへのリンクの 1 本が輻輳し、代替のエンドツーエンドパスを優先してバイパスされます。 エンドツーエンドのテレメトリ Super-Spine-1TH5 · 51.2T Super-Spine-2TH5 · 51.2T Spine-1e2e ok Spine-2e2e ok Spine-3アップリンク高負荷 Spine-4e2e ok イングレスリーフGLB · 経路をランク付け エグレスリーフ対象ラック GLB · エンドツーエンドの経路スコアリング · マルチホップの輻輳認識 · OcNOS 7.1

DLB と GLB、パス判断の範囲による比較

DLB は、ローカルの出力キュー深度を用いて各 ECMP ネクストホップをスコアリングします。これは 2 階層のリーフスパインでは最適です。3 階層の Clos に拡張すると、クリーンなアップリンクを持つスパインを選んでも、出力側リーフへ戻るダウンリンクが輻輳しているスーパースパインに行き着くことがあります。ローカルの視点は正しくても、エンドツーエンドの視点は誤っています。

観点 DLBローカル、本日出荷済み GLBグローバル、OcNOS 7.1
判断の範囲ホップ単位:各スイッチが自身の ECMP ネクストホップをランク付け。エンドツーエンド:ingress leaf が leaf 間のパス全体をランク付け。
使用するシグナル当該スイッチ上のローカルイグレスのキュー深度とリンク利用率。全階層から集約され ingress へと戻される輻輳テレメトリ。
最適な選択2 階層のリーフスパインファブリック、および 3 階層ファブリックにおけるリーフからスパインへのホップ。スーパースパインを備えた 3 階層ファブリック、16,384-GPU の上限まで。
捕捉されるホットスポットローカルイグレスの輻輳のみ。ローカルホップからは見えない下流のホットスポット。
再割り当てフローレット整合、RoCEv2 および TCP で順序どおり。フローレット整合、同一の順序保証、ファブリック全体の入力。

GLB 実装がどのように組み合わさるか

GLB は、オープンな Broadcom ベースのハードウェア上でネットワークオペレーティングシステムとして動作する OcNOS によって実現されます。

規模

最大16k-GPUの上限まで

16,384-GPU の上限では、64x800G Tomahawk 5 スイッチによる 3 階層ファブリックでポッド間を約 2:1 とした場合、およそリーフ 512 台、spine 384 台、super-spine 128 台を使用します。これは Clos のポート計算による推定値で、正確な台数は設計ごとに IP Infusion のエンジニアと決定します。

GLB 導入時に期待できること

GLB は OcNOS 7.1 で提供予定です。対応プラットフォームとライセンスについては IP Infusion にお問い合わせください。

  • OcNOS 7.1 で提供予定。 リリースライフサイクルとサポート期間は次をご覧ください OcNOS リリースページ.
  • アーキテクチャレビューをご利用いただけます。 1,000 を超える GPU ファブリックのサイジングをご検討の場合、GLB テレメトリプレーンを含むサイジング作業を実施します。次で一次案の leaf-spine レイアウトをご入手ください AI ファブリックデザインスイート.

DLB が土台を築き、GLB が上限を引き上げる

動的ロードバランシングは、2 階層規模ですでにテールレイテンシを削減しています。OcNOS 7.1 で提供予定の GLB は、その同じ規律を、最大規模のクラスターが存在する 3 階層ファブリックへと引き上げます。

DLB が一般的なケースを解決

2-tier leaf-spine および leaf から spine へのホップでは、ローカルな動的ロードバランシングがすでに大半の ECMP 衝突を解消します。これは本日 TH4 および TH5 上で出荷されています。

GLB が規模のケースを解決

OcNOS 7.1 で提供予定の GLB はパス全体をスコアリングするため、ingress leaf はクリーンなアップリンクを追って輻輳したダウンリンクへ行き着くことがなくなります。

グローバルロードバランシングにお答えします

GLB は DLB とどう違いますか。
DLB は、単一スイッチにおけるローカルな出力キュー深度を用いて各ネクストホップを評価するため、2 階層のリーフスパインにおいて最適に機能します。GLB はすべての階層から輻輳テレメトリを集約するため、入口リーフがリーフ間の完全な経路を順位付けでき、3 階層ファブリックにおいてローカルな視点では見落とされる下流のホットスポットを捕捉します。
GLBはいつ利用可能になりますか。
GLB は OcNOS 7.1 で提供予定です。対応プラットフォームとライセンスについては IP Infusion にお問い合わせください。
GLB はどの程度の規模のファブリックをサポートしますか。
16,384-GPU の上限では、64x800G Tomahawk 5 スイッチによる 3 階層ファブリックでポッド間を約 2:1 とした場合、およそリーフ 512 台、spine 384 台、super-spine 128 台を使用します。これは Clos のポート計算による推定値で、正確な台数は設計ごとに IP Infusion のエンジニアと決定します。

さらに詳しく。資料をお持ち帰りください。

製品データシートと、このページよりもさらに踏み込んだ簡潔で技術的なダウンロード資料です。

データシート

OcNOS-DC データシート

OcNOS-DC の完全な仕様。EVPN-VXLAN と Ethernet for AI の機能セット、ソフトウェア SKU、サポート対象ハードウェアプラットフォーム、ソリューション発注ガイドを収録しています。

データシートを入手
ソリューションブリーフ

OcNOS 800G ロスレス AI Fabric

Tomahawk 5 スパイン上のロスレス RoCEv2 ファブリック:SKU 階層、認定済みプラットフォーム、導入アーキテクチャ。

概要資料を入手
ソリューションブリーフ

EVPN-VXLAN データセンターファブリック

EVPN-VXLAN によるリーフスパイン型データセンターファブリック:テナントごとの VRF と VNI、EVPN マルチホーミング、BGP unnumbered、ルートターゲットフィルタリング。

概要資料を入手

数千 GPU 規模のファブリックをサイジング中ですか。共に試算しましょう

ワークロードと GPU 規模をお知らせいただければ、IP Infusion のエンジニアが GLB テレメトリプレーンを共にサイジングします。あるいは AI ファブリックデザインスイートで一次案の leaf-spine レイアウトから始めることもできます。