Neocloud · AI training and inference

ネオクラウドのためのネットワーク:AI トレーニングと推論を 1 つのファブリックで

ネオクラウドはトレーニングと推論を同じインフラで実行します。IP Infusion はその両方のためのオープンネットワークを提供します。 検証済みのオープンハードウェア上の OcNOS、GPU クラスター向けのロスレス RoCEv2、エッジでの分散推論、拠点間のオープントランスポートを、1 つのコントロールプレーンと 1 つのサポート契約で提供します。

1 つのファブリックトレーニングと推論
最大 800Gイーサネット AI ファブリック
40〜60%ハードウェアコスト削減
600+事業者ネットワーク
2 つのワークロード、1 つのビジネス

トレーニングと推論はネットワークを正反対の方向へ引っ張る

どのネオクラウドも両方を担います。トレーニングは少数の大規模クラスターを、安定した同期トラフィックで満たします。推論は多数の拠点に分散し、予告なくスパイクします。ファブリックは両方に応えなければならず、さもなければ収益を生むワークロードは別の場所へ移ってしまいます。

トレーニングと推論の比較。ファブリックを左右するネットワーク指標ごとに整理。
ネットワークから見た違い トレーニングAI ファクトリー 推論リアルタイムサービス
配置少数の大規模 GPU クラスター多数のリージョナル拠点とエッジ拠点
トラフィックGPU 間の大容量で同期した集団通信小さくレイテンシーが重要なリクエスト
負荷プロファイル長時間にわたる持続的でほぼ全開の GPU 使用率バースト的で伸縮自在、数秒でスパイク
ネットワークに求められるもの持続的な帯域でもロスレス低レイテンシーで各レイヤーを冗長化
障害許容度許容的、ジョブはチェックポイントから再開低い、すべてのリクエストで厳しい SLA
利益率を左右するネットワークの選択

ファブリックは 1 つか、2 つか

どのネオクラウドも同じ問いに答えます。トレーニングと推論を担うために、いくつのネットワークを構築するのか。その答えが、構築期間全体のコスト構造を決めます。

Option A · two networks

トレーニング用ネットワークに、推論用のもう 1 つを追加

トレーニング用に 1 つのファブリック、推論用に別のファブリックを後付けする。設計が 2 つ、予備品在庫が 2 つ、運用チームが 2 つ、アップグレードサイクルが 2 つ。最初の顧客が来る前に設備投資と運用コストが二重になり、そのすべてを利益率が吸収しなければなりません。

設備投資と運用費が二重に、利益率は圧迫
Option B · one OcNOS fabric

トレーニングと推論を 1 つのコントロールプレーンで

両方のワークロードが同じ OcNOS ネットワーク上で動作します。 1 つのイメージ、1 つのコントロールプレーン、1 つのサポート契約。 トレーニングファブリックと分散推論拠点は同じプラットフォームであり、役割ごとにサイジングとライセンスが行われます。そのため事業者は、すでに所有するインフラ上でトレーニングと、それに続くあらゆる推論ワークロードを取り込めます。

1 つのファブリック、ビジネスに応じて伸びるコスト
ネオクラウドのための 1 つの OcNOS ファブリック。左側は最大 800G のロスレス RoCEv2 で動作する leaf-spine の GPU トレーニングクラスター、右側は分散推論拠点で、オープンな IP over DWDM トランスポートで接続され、すべてが 1 つの OcNOS コントロールプレーンの下にあります。
トレーニングと推論のための 1 つの OcNOS ファブリック。ロスレス RoCEv2 の GPU トレーニングクラスター、分散推論拠点、そしてそれらをつなぐオープントランスポートを、1 つのコントロールプレーンの下で。
トレーニングファブリック

GPU クラスターのためのロスレスイーサネットファブリック

トレーニングは GPU 間で大量の同期トラフィックを動かすため、ファブリックは負荷下でもロスレスを保つ必要があります。OcNOS はオープンなマーチャントシリコン上で RoCEv2 ツールキットを最大 800G で動作させ、AI ファクトリーは単一ベンダースタックなしで高ラディックスのイーサネットファブリックを手にします。

ロスレスRoCEv2

Priority flow control, ECN, and DCQCN は GPU コレクティブトラフィックをパケットロスから守り、適応型ロードバランシングでファブリック全体に分散します。

オープンシリコンで最大 800G

高ラディックスのイーサネットを、 検証済みのオープンハードウェア 上で、複数ベンダーのハードウェアがトレーニングファブリックを支え、クラスターを拡張する余裕を残します。

GPU スタックに対応

ファブリックは、 GPU collective libraries (NCCL, RCCL, oneCCL) がトレーニングジョブを支えるため、AllReduce においてネットワークがボトルネックになりません。

1 つのイメージで、あらゆる規模の階層に
ラック
GPU サーバー + Leaf
容量を追加する単位。トップオブラックの Leaf の背後に GPU サーバーを配置します。
Pod
Leaf-Spine ブロック
ノンブロッキングの Leaf-Spine ブロック。ファブリックの反復可能な構成単位です。
クラスター
最大 4,096 基の GPU
1 つのロスレス RoCEv2 ファブリック上の完全なトレーニングクラスター。
マルチクラスター
16,384 基規模の設計
複数のクラスターと分散推論拠点を、1 つのコントロールプレーンで。

同じ OcNOS イメージがすべての階層で動作するため、ファブリックは各段階で再設計されるのではなく、クラスターとともにスケールアウトします。

分散推論

推論はエッジに存在し、ネットワークがそれに追随する必要がある

推論は多数のリージョナル拠点とエッジ拠点に分散し、素早くスケールアップ・ダウンし、厳しいレイテンシ目標を守ります。ここでネオクラウドはデータセンターファブリック以上のものを必要とします。拠点間のトランスポートと、すべての拠点にわたるアシュアランスです。IP Infusion は経路全体をカバーします。

各拠点のデータセンターファブリック

An EVPN-VXLAN リーフ-スパイン ファブリックがオープンスイッチ上で各推論拠点を担い、需要の変化に応じて容量を追加・削除できる弾力性を備えます。

拠点間のオープントランスポート

低レイテンシのトランスポートが拠点同士を結びます。 IP over DWDM with coherent ZR and ZR+ は光レイヤーをルーターに統合し、拠点間の容量を実現します。

すべての拠点にわたるアシュアランス

IP Maestro は全体を 1 つのビューで示し、事業者が多数の拠点と N+1 設計にわたって推論のサービスレベルを維持できるようにします。

オープンハードウェア、低コスト

ネオクラウドが守り抜けるコスト構造

ネオクラウドは価格とスケールの速さで競うため、ネットワークが独自仕様の税金になってはなりません。オープンネットワーキングは、ハードウェア、ソフトウェア、リードタイムの主導権を事業者に与えつつ、ソフトウェアとサポートは 1 社が引き続き担います。

マルチベンダーのサプライチェーン

Switches from Edgecore、UfiSpace などの スイッチは同じ OcNOS イメージを実行するため、事業者はハードウェアやリードタイムで特定ベンダーに縛られません。

ハードウェアコストの削減

オープンなマーチャントシリコンスイッチ上の OcNOS は、 ハードウェアコストを 40〜60% 削減して AI ファブリックを 、ポート速度と radix が同等の専有プラットフォームより低いコストで運びます。

1 社が解決に責任を持つ

ハードウェアとソフトウェアは独立したサイクルで更新されますが、 1 つのサポート契約が システム全体をカバーするため、1 つのチームが解決に責任を持ちます。

本番環境での実績

オープンネットワークはすでに大規模に稼働している

ネオクラウドファブリックはラボの実験ではありません。世界中の事業者の本番トラフィックを運ぶのと同じ OcNOS を、同じオープンハードウェア上で動かします。

600+
の事業者ネットワークが、サービスプロバイダー、データセンター、インターネットエクスチェンジで OcNOS を運用しています。
60+
の国々で、OcNOS は今日、本番トラフィックを運んでいます。
40+
の検証済みオープンハードウェアプラットフォームが、1 つのイメージから OcNOS を実行します。
よくある質問

ネオクラウドのネットワーキング Q&A

ネオクラウドとは何か
ネオクラウドは、従来のハイパースケーラーの汎用サービスではなく、トレーニングと推論のための高密度な GPU コンピュートを中心に構築された AI ファーストのクラウド事業者です。ネオクラウドはアクセラレーターの純粋な性能、スケールの速さ、コストで競うため、GPU トラフィックを運ぶネットワークは経済性の中核であり、後付けではありません。
ネオクラウドは InfiniBand と Ethernet のどちらを使うのか
どちらも使われていますが、800G の立ち上がりとともに業界は Ethernet へ向かっています。RoCEv2 を用いた Ethernet は、オープンなマーチャントシリコン上で GPU コレクティブトラフィックを運ぶため、ネオクラウドは単一ベンダースタックなしでロスレスな AI ファブリックを得られます。OcNOS は Priority Flow Control、ECN、適応型ロードバランシングを含む RoCEv2 のツールキット一式を、検証済みのオープンハードウェア上で動かします。
ネオクラウドはトレーニングと推論のためにネットワークを 1 つ作るべきか、2 つ作るべきか
トレーニングと推論は正反対のワークロードです。トレーニングは集中型で帯域を多く消費し、推論は分散型でバースト的、そしてレイテンシが重要です。2 つの別々のネットワークを作ると設備投資と運用コストが二重になります。両方を 1 つの OcNOS ファブリックと 1 つのコントロールプレーンで動かせば、ネオクラウドは同じインフラからトレーニングとあらゆる推論ワークロードを提供でき、そこで営業利益率が改善します。
ネオクラウドが 2 つの独立したネットワークを必要とするのはどんなときか
一部の事業者は、明確な理由からトレーニングと推論を意図的に分離します。テナント間の厳格な分離、チームごとに異なる運用ドメイン、明確な性能境界、あるいはすでにトレーニングを担う既存の InfiniBand アイランドなどです。OcNOS はどちらの構成でも動作します。重要なのは、分離はアーキテクチャに強いられるコストではなく、意図的な設計上の選択であるべきだということです。1 つのチームが両方のワークロードを 1 つのコントロールプレーンで運用できるなら、ロールごとにサイジングしてライセンスした 1 つのファブリックが、マージンを守る既定の選択肢になります。
分散推論はネットワークに何を求めるのか
推論は多数のリージョナル拠点とエッジ拠点に分散し、素早くスケールし、厳しいレイテンシ目標を守るため、ネットワークには弾力的な容量、各レイヤーでの冗長化、拠点間の低レイテンシトランスポートが必要です。IP Infusion は経路全体をカバーします。データセンターファブリック、拠点間のトランスポートと IP over DWDM、そしてアシュアランスのための IP Maestro です。
オープンネットワーキングはどのようにネオクラウドのコストを下げるのか
ネオクラウドはスイッチとソフトウェアをマルチベンダーのサプライチェーンから独立したサイクルで購入するため、ハードウェア、ソフトウェア、リードタイムのいずれでも特定ベンダーに縛られません。オープンなマーチャントシリコンスイッチ上の OcNOS は、専有プラットフォームより低いハードウェアコストで AI ファブリックを運び、ソフトウェアとサポートは 1 社が 1 つの契約で引き続き担います。
データシート

OcNOS-DC データシートをご活用ください

このページの内容をさらに掘り下げる、短い技術資料です。OcNOS-DC の完全なデータシートをご覧ください。

1 つのコントロールプレーンでネオクラウドのファブリックを設計する

GPU の規模と対象とする拠点をお知らせいただければ、IP Infusion のエンジニアがトレーニングと推論のための 1 つのオープンファブリックの設計をお手伝いします。