OcNOS AI Fabric：GPU クラスター向けのオープンな 800G ロスレスイーサネット

マーチャントシリコンの Ethernet NOS で文字どおり AI ネイティブなものは存在しません。xCCL （NCCL／RCCL／oneCCL） の集合通信を解釈したり、スイッチでジョブをスケジュールしたりするものはなく、それは NIC とスケジューラの領域です。OcNOS-DC は、2026 年の AI ワークロードが必要とするすべてのファブリックメカニズムを実装します：ロスレス RoCEv2、RDMA 集合通信のトラフィックパターン向けに調整された DCQCN バッファプロファイル、ミリ秒未満の DLB フローレット再バインド、PFC デッドロックウォッチドッグ。そして上位レイヤーには踏み込みません。「AI アウェアなファブリック」とは、たいてい一つのベンダーが NIC + スイッチ + スケジューラをロックされた一つの SKU として販売することを意味するにすぎません。

OcNOS-DC が担うのはレイヤ 1 です：ロスレス RDMA トランスポート、輻輳制御、適応型ルーティング、デッドロックリカバリ、テレメトリ。NIC はレイヤ 2 (xCCL、RDMA verbs、パケットスプレー、GPU ダイレクトメモリ) を担い、スケジューラはレイヤ 3 (ジョブ配置、勾配同期ウィンドウ、テナント分離) を担います。OcNOS-DC は gNMI テレメトリをレイヤ 3 へストリーミングしますが、スケジューラ自体になろうとはしません。この分離によって、NIC、GPU、オーケストレーションのいずれも入れ替え可能な状態が保たれます。

OcNOS-DC は完全な AI ファブリックを提供します。検証済みのオープンスイッチと OcNOS-DC を、サービスプロバイダーネットワークを運用しているのと同じ OcNOS ファミリーから、1 つのサポート契約のもと OcNOS Systems として提供します。Broadcom シリコン上で、ロスレス RoCEv2（PFC、ECN、Reactive Path Rebalance を備えたミリ秒未満の DLB）、PFC デッドロックリカバリ、Premium および Enterprise ティアでの 24/7 サポートを提供し、NIC、GPU、ハードウェアのロックインはありません。他の選択肢は、取引の形が異なります。クローズドな NIC とスイッチの一体型スタックは、NIC、スイッチ、GPU ロードマップのすべてでファブリックを 1 社のベンダーに縛ります。独自ハードウェア型 NOS は、同様の RoCEv2 機能をロックされたハードウェア上でポート単位のライセンスにより提供します。コミュニティのオープンソース NOS ディストリビューションは、AI 向けに調整された初期設定、デッドロックウォッチドッグ、SLA をオペレーター任せにします。セルベースのシャーシファブリックは、標準のイーサネット NOS ではなく、スケジュールされたセルアーキテクチャを使用します。

OcNOS-DC は、DCQCN とミリ秒未満の DLB によるロスレス RoCEv2 を現在すでに本番環境で稼働させており、IP Infusion は Ultra Ethernet Consortium（UEC）のメンバーです。UEC 1.0 は、1 つのフローを単一の ECMP ハッシュに固定するのではなく多数のパスに分散するマルチパスのイーサネットトランスポートを定義しており、そのエンドポイント動作は UEC 対応 NIC 上で実行されます。特定の構成に UEC をどう組み込むかは IP Infusion のエンジニアにご相談いただき、Ultra Ethernet の詳細解説もご覧ください。

トレーニングの集団通信であるAllReduceとAllGatherは、経路上にCPUを介さずRoCEv2でGPU間のデータを移動し、RDMAは再送を行わないため、パケットが1つでもドロップするとジョブ内のすべてのGPUで処理が再開。だからこそ本番運用のRoCEv2には真にロスレスなファブリック（PFCとECN）が必要であり、OcNOS-DCはRDMA集団通信トラフィック向けにチューニングされたRoCEv2バッファプロファイルとDCQCNデフォルトを標準搭載。各チームがそのロスレス挙動をゼロから構築する必要はありません。

メカニズムは三つあります。PFC はバッファがオーバーフローする前に優先度ごとにトラフィックを一時停止します。ECN は早期にパケットへマーキングを行って送信側を減速させます。ETS は RDMA フローを低優先度トラフィックの前に維持します。そのうえに、ポート単位かつ優先度単位のデッドロックウォッチドッグが、停止状態のキューサイクルを検出し、ジョブがハングする前にキューを自動的にドレインします：これは従来、ジョブの途中でスイッチの電源再投入を強いてきた障害モードです。PFC over L3 はルーティング境界を越えてサポートされます。

AllReduceの際、標準のECMPが各フローをその存続期間中は単一のアップリンクに固定するため最大級のフロー同士が衝突し、同期は詰まったリンクを待つことになります。DLBはASICのキュー深度テレメトリをリアルタイムで読み取り、1ミリ秒未満でフローレットを負荷の低いパスへ再バインドするため、ローカルホップで失われたスループットを現在すでに回復します。GLBは同じ考え方をファブリック全体へ拡張するものとしてOcNOS 7.xのロードマップに位置づけられており、スパインが経路品質テレメトリを入口リーフへ公開することで、ルーティングが数千GPU規模の大規模クラスター全体にわたるマルチホップ経路全体をスコアリングします。

OcNOS-DC は 400G および 800G のリーフ・スパインファブリックをサポートします。 Tomahawk 5 スパイン (Edgecore AIS800-64D、UfiSpace S9321-64E) は 51.2 Tbps / 64 × 800G を実現。 Tomahawk 4 リーフは 400G / 25.6 Tbps で動作し、オンチップバッファリングを備えます。 Trident 4 はより小規模な 100G/400G ファブリックをカバーします。リファレンスデザインは、数千 GPU 規模の大規模クラスター向けに、レールオンリー、レール最適化、3 段 Clos のトポロジーをカバーしています。詳しくは次をご覧ください： AI Fabric トポロジー詳細解説.

はい。DCBXはサーバー間・スイッチ間のRoCEv2設定を自動化し、ZTP（IPv4/IPv6）がゼロタッチのオンボーディングを処理、gNMIがOpenConfig YANG上でオンチェンジテレメトリをストリーミング。PFCポーズ、ECNマーキング、DCQCNしきい値、バッファ深度はgNMIセンサーパスであり、Prometheus、InfluxDB、Telegraf、Grafana、あるいは任意のOpenTelemetryパイプラインで利用可能。AnsibleプレイブックはDay-0からDay-2までをカバーし、Terraformプロバイダーもロードマップに掲載。OcNOS向けのエレメント管理システムであるIP Maestroは、NETCONF経由でトポロジー、障害、構成、ソフトウェアイメージを管理し、大規模なマルチサイトのフリートを1つのコンソールから管理。

ファブリックは、Edgecore と UfiSpace の検証済み Broadcom Tomahawk 4 および 5 スイッチで稼働します。800G スパイン（Edgecore AIS800-64D と UfiSpace S9321-64E、Tomahawk 5、64 x 800G QSFP-DD800、51.2 Tbps）は 400G、200G、100G にブレイクアウトでき、400G リーフ（Edgecore AS9736-64D、Tomahawk 4、64 x 400G QSFP56-DD、オンチップバッファリング付き 25.6 Tbps）は 100G と 25G にブレイクアウトできます。光モジュールは複数ベンダーとの相互運用性が実証済みのため、構成に合わせたトランシーバーの一覧はお問い合わせください。スイッチプラットフォームは HCL に掲載されています。

ファブリックを OcNOS Systems として購入した場合、IP Infusion との単一の契約で OcNOS-DC ソフトウェアと検証済みのスイッチハードウェアを一括してカバーするため、TAC も SLA も一本化されます。サポートはティア制です。Standard はメール TAC・営業時間内の電話サポート・ハードウェア RMA 調整を含み、P1 対応は 8 時間です。Premium はこれに 24/7 のカスタマーサポートポータルと 2 時間の P1 対応を追加します。Enterprise はさらに 30 分の P1 対応とカスタマーサクセスマネージャーを追加します。24/7 ポータルは Premium および Enterprise で利用可能です。