ネオクラウドおよび GPU クラウド事業者向けのネットワーク

IP Infusion は、GPU クラウドを支えるネットワークを提供します。ロスレス GPU ファブリック、ストレージネットワーク、テナント向けフロントエンド、アウトオブバンド管理のそれぞれに、認定済みスイッチ上の OcNOS-DC を 1 つのサポート契約で提供します。

64 × 800GGPU ファブリック向け Tomahawk 5 スイッチ
16,384最大リファレンスデザインの GPU 数
600+OcNOS を運用する事業者

1 台の GPU サーバー、4 つのネットワーク

GPU クラウドでは、すべてのサーバーが 4 つのネットワークに接続します。GPU バックエンドファブリック、ストレージ、テナント向けフロントエンド、管理です。OcNOS-DC はこの 4 つすべてで動作するため、1 つのチームが 1 つのソフトウェアファミリーでクラウド全体を運用できます。

ネットワークを選ぶと、そのトラフィックを表示します

GPU サーバーは、GPU バックエンドファブリック、ストレージ、テナント向けフロントエンド、アウトオブバンド管理の 4 つのネットワークに接続します スパイン スパイン レールリーフ レールリーフ GPUバックエンドファブリック ストレージリーフ ストレージ テナント フロントエンドリーフ テナントフロントエンド 管理 アウトオブバンド、1G GPU サーバー GPU NIC ストレージ NIC フロントエンド NIC BMC

GPU バックエンド。 GPU の集合通信は専用のルーテッドファブリックで動作します。レイヤー 3 上の PFC と ECN により RoCEv2 トラフィックをロスレスに保ち、動的ロードバランシングがフローレットを負荷の低いアップリンクへ移します。Tomahawk 5 スイッチは 64 × 800G を収容します。

説明用の図です。

学習と推論では、ネットワークへの要件が異なります

ネオクラウドはその両方に対応します。学習では少数の大規模クラスタに、安定した同期トラフィックが流れます。推論トラフィックは多数のサイトにまたがり、バースト的に発生します。

トレーニングと推論の比較。ファブリックを左右するネットワーク指標ごとに整理。
ネットワークから見た違い トレーニングAI ファクトリー 推論リアルタイムサービス
配置少数の大規模 GPU クラスター多数のリージョナル拠点とエッジ拠点
トラフィックGPU 間の大容量で同期した集団通信小さくレイテンシーが重要なリクエスト
負荷プロファイル長時間にわたる持続的でほぼ全開の GPU 使用率バースト的で伸縮自在、数秒でスパイク
ネットワークに求められるもの持続的な帯域でもロスレス低レイテンシーで各レイヤーを冗長化

GPU クラウドで OcNOS-DC が実行する機能

各ネットワークが利用する機能です(OcNOS 機能マトリクスより)。

機能その働き対応範囲
レイヤー 3 上の PFC と ECNルーテッドファブリック全体でロスレス RoCEv2 を実現し、トラフィッククラス間に ETS を適用すべての OcNOS-DC
動的ロードバランシングフローレットを負荷の低いアップリンクへ移動一部のスイッチ
PFCデッドロックの検出と回復停止した優先キューを検出して回復一部のスイッチ
EVPN-VXLANVXLAN 上のレイヤー 2 EVPN、テナントごとに VRF と VNITrident 3 および 4
テナント制限テナントごとの MAC 制限とルートターゲットフィルタリング一部のスイッチ
VXLAN 上の PFC と ECNEVPN-VXLAN ファブリック上のロスレスなストレージトラフィック一部のスイッチ
MLAG と EVPN マルチホーミングMLAG はアクティブ/アクティブモード、EVPN はシングルアクティブまたはポートアクティブモード一部のスイッチ
スイッチに搭載するコヒーレント光モジュールサイト間の 400G および 800G ZR、OpenZR+ リンク一部のスイッチ
管理 VRF と ZTPアウトオブバンド管理とゼロタッチプロビジョニングすべての OcNOS-DC

サポート状況はスイッチのモデルとライセンスによって異なります。 OcNOS機能マトリクスをご確認ください。

ネットワーク別のスイッチ

各ネットワークには、そのトラフィックに適したスイッチを使用します。いずれも OcNOS-DC で動作します。

Edgecore AIS800-64D switch

GPU ファブリックのスパインおよびリーフ

Edgecore AIS800-64D

Tomahawk 5 · 51.2 Tbps

64 × 800G

Edgecore AS9736-64D switch

400G GPU レールリーフ

Edgecore AS9736-64D

Tomahawk 4 · 25.6 Tbps

64 × 400G

UfiSpace S9300-32D switch

フロントエンドおよびストレージリーフ

UfiSpace S9300-32D

Trident 4 · 12.8 Tbps

32 × 400G

UfiSpace S6301-56ST switch

アウトオブバンド管理

UfiSpace S6301-56ST

Trident 3 · 120 Gbps

48 × 1G, 8 × 10G

OcNOS on open switches carries the AI fabric at 40 to 60% lower hardware cost 、ポート速度と radix が同等の専有プラットフォームより低いコストで運びます。 ロスレス AI ファブリックの仕組みを見る。 認定済みスイッチの全一覧は、OcNOS ハードウェア互換性リストでご覧いただけます。

ネオクラウドネットワーキングに関するご質問。

ネオクラウドや GPU クラウド事業者が AI に必要とするネットワークは何ですか?
4 つのネットワークです。GPU 集合通信用のルーテッドでロスレスなバックエンドファブリック、ストレージネットワーク、顧客が GPU にアクセスするフロントエンドネットワーク、アウトオブバンド管理です。OcNOS-DC は認定済みスイッチ上でこの 4 つすべてを実行します。
1 つのプラットフォームで AI の学習と推論の両方に対応できますか?
はい。同じ OcNOS-DC ファミリーが、学習に必要なロスレス GPU ファブリックと、推論で使用するフロントエンドおよびストレージネットワークを実行するため、1 つのチームが 1 つのソフトウェアスタックでクラウド全体を運用できます。スイッチは役割ごとに規模を選定します。
GPU クラウドでは、顧客同士をどのように分離しますか?
フロントエンドネットワークでは、EVPN-VXLAN が各テナントに専用の VRF と VNI を割り当て、テナントごとの MAC 制限とルートターゲットフィルタリングを適用します。これらの機能は Trident 3 および Trident 4 スイッチで動作します。対応状況はスイッチのモデルによって異なるため、OcNOS 機能マトリクスをご確認ください。
リンクやスイッチに障害が発生したとき、ファブリックはどのように推論を継続させますか?
BFD がリンク障害を検出し、BGP ECMP がトラフィックを残りの経路へ移します。MLAG は、アクティブ/アクティブモードでサーバーを 1 組のスイッチに接続します。EVPN-VXLAN のフロントエンドリーフでは、シングルアクティブまたはポートアクティブモードの EVPN マルチホーミングにより、サーバーを 2 台のリーフに接続します。
AI の学習と推論に向けたネットワークベンダーは、どのように評価すればよいですか?
各スイッチが、実行予定のソフトウェアに対してモデルごと、ASIC ステッピングごとに認定されていることを確認してください。必要な機能がそのスイッチで記載されていることを確かめ、スイッチとソフトウェアを誰がサポートするかを把握します。IP Infusion はプラットフォームごとに OcNOS 機能マトリクスを公開し、スイッチとソフトウェアを 1 つの契約でサポートします。
ネオクラウドはサイト間をどのように接続しますか?
対応する OcNOS-DC スイッチは、ポートにコヒーレント光モジュールを収容できます。AS9736-64D、AS9726-32DB、S9300-32D では 400G ZR および OpenZR+、AIS800-64D と S9321-64E では 800G ZR および OpenZR+ に対応します。より長距離のリンクについては、OcNOS-SP ルーターによる IP over DWDM をご覧ください。

GPU クラウドネットワークを計画しましょう。

GPU の規模、テナント、サイトをお知らせください。IP Infusion のエンジニアが、各ネットワークを認定済みスイッチに割り当てます。