ネオクラウドのためのネットワーク:AI トレーニングと推論を 1 つのファブリックで
ネオクラウドはトレーニングと推論を同じインフラで実行します。IP Infusion はその両方のためのオープンネットワークを提供します。 検証済みのオープンハードウェア上の OcNOS、GPU クラスター向けのロスレス RoCEv2、エッジでの分散推論、拠点間のオープントランスポートを、1 つのコントロールプレーンと 1 つのサポート契約で提供します。
トレーニングと推論はネットワークを正反対の方向へ引っ張る
どのネオクラウドも両方を担います。トレーニングは少数の大規模クラスターを、安定した同期トラフィックで満たします。推論は多数の拠点に分散し、予告なくスパイクします。ファブリックは両方に応えなければならず、さもなければ収益を生むワークロードは別の場所へ移ってしまいます。
| ネットワークから見た違い | トレーニングAI ファクトリー | 推論リアルタイムサービス |
|---|---|---|
| 配置 | 少数の大規模 GPU クラスター | 多数のリージョナル拠点とエッジ拠点 |
| トラフィック | GPU 間の大容量で同期した集団通信 | 小さくレイテンシーが重要なリクエスト |
| 負荷プロファイル | 長時間にわたる持続的でほぼ全開の GPU 使用率 | バースト的で伸縮自在、数秒でスパイク |
| ネットワークに求められるもの | 持続的な帯域でもロスレス | 低レイテンシーで各レイヤーを冗長化 |
| 障害許容度 | 許容的、ジョブはチェックポイントから再開 | 低い、すべてのリクエストで厳しい SLA |
ファブリックは 1 つか、2 つか
どのネオクラウドも同じ問いに答えます。トレーニングと推論を担うために、いくつのネットワークを構築するのか。その答えが、構築期間全体のコスト構造を決めます。
トレーニング用ネットワークに、推論用のもう 1 つを追加
トレーニング用に 1 つのファブリック、推論用に別のファブリックを後付けする。設計が 2 つ、予備品在庫が 2 つ、運用チームが 2 つ、アップグレードサイクルが 2 つ。最初の顧客が来る前に設備投資と運用コストが二重になり、そのすべてを利益率が吸収しなければなりません。
トレーニングと推論を 1 つのコントロールプレーンで
両方のワークロードが同じ OcNOS ネットワーク上で動作します。 1 つのイメージ、1 つのコントロールプレーン、1 つのサポート契約。 トレーニングファブリックと分散推論拠点は同じプラットフォームであり、役割ごとにサイジングとライセンスが行われます。そのため事業者は、すでに所有するインフラ上でトレーニングと、それに続くあらゆる推論ワークロードを取り込めます。

GPU クラスターのためのロスレスイーサネットファブリック
トレーニングは GPU 間で大量の同期トラフィックを動かすため、ファブリックは負荷下でもロスレスを保つ必要があります。OcNOS はオープンなマーチャントシリコン上で RoCEv2 ツールキットを最大 800G で動作させ、AI ファクトリーは単一ベンダースタックなしで高ラディックスのイーサネットファブリックを手にします。
ロスレスRoCEv2
Priority flow control, ECN, and DCQCN は GPU コレクティブトラフィックをパケットロスから守り、適応型ロードバランシングでファブリック全体に分散します。
オープンシリコンで最大 800G
高ラディックスのイーサネットを、 検証済みのオープンハードウェア 上で、複数ベンダーのハードウェアがトレーニングファブリックを支え、クラスターを拡張する余裕を残します。
GPU スタックに対応
ファブリックは、 GPU collective libraries (NCCL, RCCL, oneCCL) がトレーニングジョブを支えるため、AllReduce においてネットワークがボトルネックになりません。
同じ OcNOS イメージがすべての階層で動作するため、ファブリックは各段階で再設計されるのではなく、クラスターとともにスケールアウトします。
推論はエッジに存在し、ネットワークがそれに追随する必要がある
推論は多数のリージョナル拠点とエッジ拠点に分散し、素早くスケールアップ・ダウンし、厳しいレイテンシ目標を守ります。ここでネオクラウドはデータセンターファブリック以上のものを必要とします。拠点間のトランスポートと、すべての拠点にわたるアシュアランスです。IP Infusion は経路全体をカバーします。
各拠点のデータセンターファブリック
An EVPN-VXLAN リーフ-スパイン ファブリックがオープンスイッチ上で各推論拠点を担い、需要の変化に応じて容量を追加・削除できる弾力性を備えます。
拠点間のオープントランスポート
低レイテンシのトランスポートが拠点同士を結びます。 IP over DWDM with coherent ZR and ZR+ は光レイヤーをルーターに統合し、拠点間の容量を実現します。
すべての拠点にわたるアシュアランス
IP Maestro は全体を 1 つのビューで示し、事業者が多数の拠点と N+1 設計にわたって推論のサービスレベルを維持できるようにします。
ネオクラウドが守り抜けるコスト構造
ネオクラウドは価格とスケールの速さで競うため、ネットワークが独自仕様の税金になってはなりません。オープンネットワーキングは、ハードウェア、ソフトウェア、リードタイムの主導権を事業者に与えつつ、ソフトウェアとサポートは 1 社が引き続き担います。
マルチベンダーのサプライチェーン
Switches from Edgecore、UfiSpace などの スイッチは同じ OcNOS イメージを実行するため、事業者はハードウェアやリードタイムで特定ベンダーに縛られません。
ハードウェアコストの削減
オープンなマーチャントシリコンスイッチ上の OcNOS は、 ハードウェアコストを 40〜60% 削減して AI ファブリックを 、ポート速度と radix が同等の専有プラットフォームより低いコストで運びます。
1 社が解決に責任を持つ
ハードウェアとソフトウェアは独立したサイクルで更新されますが、 1 つのサポート契約が システム全体をカバーするため、1 つのチームが解決に責任を持ちます。
オープンネットワークはすでに大規模に稼働している
ネオクラウドファブリックはラボの実験ではありません。世界中の事業者の本番トラフィックを運ぶのと同じ OcNOS を、同じオープンハードウェア上で動かします。
ネオクラウドのネットワーキング Q&A
ネオクラウドとは何か
ネオクラウドは InfiniBand と Ethernet のどちらを使うのか
ネオクラウドはトレーニングと推論のためにネットワークを 1 つ作るべきか、2 つ作るべきか
ネオクラウドが 2 つの独立したネットワークを必要とするのはどんなときか
分散推論はネットワークに何を求めるのか
オープンネットワーキングはどのようにネオクラウドのコストを下げるのか
OcNOS-DC データシートをご活用ください
このページの内容をさらに掘り下げる、短い技術資料です。OcNOS-DC の完全なデータシートをご覧ください。
OcNOS-DC データシート
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
1 つのコントロールプレーンでネオクラウドのファブリックを設計する
GPU の規模と対象とする拠点をお知らせいただければ、IP Infusion のエンジニアがトレーニングと推論のための 1 つのオープンファブリックの設計をお手伝いします。
こちらからご連絡いたしましょうか?
必要事項をご記入いただければ、IP Infusion のエンジニアが AI トレーニングと推論のための 1 つのオープンファブリックの設計をお手伝いします。ご希望の場合にのみご連絡します。