OcNOS AI Fabric: open 800G lossless Ethernet for GPU clusters

マーチャントシリコンの Ethernet NOS で文字どおり AI ネイティブなものは存在しません。xCCL (NCCL ／ RCCL ／ oneCCL) の集合通信を解釈したり、スイッチでジョブをスケジュールしたりするものはなく、それは NIC とスケジューラの領域です。OcNOS-DC は、2026 年の AI ワークロードが必要とするすべてのファブリックメカニズムを実装します: ロスレス RoCEv2、RDMA 集合通信のトラフィックパターン向けに調整された DCQCN バッファプロファイル、ミリ秒未満の DLB フローレット再バインド、PFC デッドロックウォッチドッグ、UEC 1.0 準拠。そして上位レイヤーには踏み込みません。「AI アウェアなファブリック」とは、たいてい一つのベンダーが NIC + スイッチ + スケジューラをロックされた一つの SKU として販売することを意味するにすぎません。

OcNOS-DC が担うのはレイヤ 1 です：ロスレス RDMA トランスポート、輻輳制御、適応型ルーティング、デッドロックリカバリ、テレメトリ。NIC はレイヤ 2 (xCCL、RDMA verbs、パケットスプレー、GPU ダイレクトメモリ) を担い、スケジューラはレイヤ 3 (ジョブ配置、勾配同期ウィンドウ、テナント分離) を担います。OcNOS-DC は gNMI テレメトリをレイヤ 3 へストリーミングしますが、スケジューラ自体になろうとはしません。この分離によって、NIC、GPU、オーケストレーションのいずれも入れ替え可能な状態が保たれます。

Spectrum-X is a closed NVIDIA NIC + switch + software stack: excellent performance, single-vendor lock-in. Arista, Cisco, and Juniper run similar RoCEv2 features on locked hardware with proprietary licensing. Community SONiC is open but ships no AI-hardened defaults, watchdog, or SLA. DriveNets DDC is a proprietary cell fabric, not an Ethernet NOS. OcNOS-DC delivers the complete system, validated open switches plus OcNOS-DC plus support under one contract, and runs one NOS across both service-provider and data-center roles. It runs on Broadcom silicon with lossless RoCEv2 (PFC, ECN, sub-millisecond DLB with Reactive Path Rebalance), PFC deadlock recovery, UEC 1.0 fabric-profile alignment, and a 24/7 SLA, with no lock-in.

現在購入するスイッチは、Ultra Ethernet NIC が登場した際にも引き続き活用できるべきであり、OcNOS-DC ではそれが実現します。各ファブリックは、現時点で完全にサポートされた RoCEv2 に加え DCQCN と DLB を本番環境で実行し、OcNOS-DC は UEC 1.0 ファブリックプロファイルを追随します。これは、各フローを 1 つの ECMP ハッシュに固定する代わりにすべてのパスにわたって並列化するため、NOS やハードウェアの交換なしで UEC NIC へ移行可能。OcNOS-DC は UEC 1.0 ファブリックプロファイルに準拠していますが、準拠は認証を主張するものではありません。次をご覧ください： Ultra Ethernet 詳細解説.

トレーニングの集団通信であるAllReduceとAllGatherは、経路上にCPUを介さずRoCEv2でGPU間のデータを移動し、RDMAは再送を行わないため、パケットが1つでもドロップするとジョブ内のすべてのGPUで処理が再開。だからこそ本番運用のRoCEv2には真にロスレスなファブリック（PFCとECN）が必要であり、OcNOS-DCはRDMA集団通信トラフィック向けにチューニングされたRoCEv2バッファプロファイルとDCQCNデフォルトを標準搭載。各チームがそのロスレス挙動をゼロから構築する必要はありません。

メカニズムは三つあります。PFC はバッファがオーバーフローする前に優先度ごとにトラフィックを一時停止します。ECN は早期にパケットへマーキングを行って送信側を減速させます。ETS は RDMA フローを低優先度トラフィックの前に維持します。そのうえに、ポート単位かつ優先度単位のデッドロックウォッチドッグが、停止状態のキューサイクルを検出し、ジョブがハングする前にキューを自動的にドレインします：これは従来、ジョブの途中でスイッチの電源再投入を強いてきた障害モードです。PFC over L3 はルーティング境界を越えてサポートされます。

AllReduceの際、標準のECMPが各フローをその存続期間中は単一のアップリンクに固定するため最大級のフロー同士が衝突し、同期は詰まったリンクを待つことになります。DLBはASICのキュー深度テレメトリをリアルタイムで読み取り、1ミリ秒未満でフローレットを負荷の低いパスへ再バインドするため、ローカルホップで失われたスループットを現在すでに回復します。GLBは同じ考え方をファブリック全体へ拡張するものとしてOcNOS 7.xのロードマップに位置づけられており、スパインが経路品質テレメトリを入口リーフへ公開することで、ルーティングが数千GPU規模の大規模クラスター全体にわたるマルチホップ経路全体をスコアリングします。

OcNOS-DC は 400G および 800G のリーフ・スパインファブリックをサポートします。 Tomahawk 5 スパイン (Edgecore AIS800-64D、UfiSpace S9321-64E) は 51.2 Tbps / 64 × 800G を実現。 Tomahawk 4 leaves run 400G / 25.6 Tbps with on-chip buffering; Trident 4 covers smaller 100G/400G fabrics. Reference designs cover rail-only, rail-optimized, and 3-stage Clos topologies for large multi-thousand-GPU clusters: see the AI Fabric トポロジー詳細解説.

はい。DCBXはサーバー間・スイッチ間のRoCEv2設定を自動化し、ZTP（IPv4/IPv6）がゼロタッチのオンボーディングを処理、gNMIがOpenConfig YANG上でオンチェンジテレメトリをストリーミング。PFCポーズ、ECNマーキング、DCQCNしきい値、バッファ深度はgNMIセンサーパスであり、Prometheus、InfluxDB、Telegraf、Grafana、あるいは任意のOpenTelemetryパイプラインで利用可能。AnsibleプレイブックはDay-0からDay-2までをカバーし、Terraformプロバイダーもロードマップに掲載。OcNOS向けのエレメント管理システムであるIP Maestroは、NETCONF経由でトポロジー、障害、構成、ソフトウェアイメージを管理し、大規模なマルチサイトのフリートを1つのコンソールから管理。

The fabric runs on validated Broadcom Tomahawk 4 and 5 switches from Edgecore and UfiSpace. The 800G spines (Edgecore AIS800-64D and UfiSpace S9321-64E, Tomahawk 5, 64 x 800G QSFP-DD800, 51.2 Tbps) break out to 400G, 200G, and 100G; the 400G leaf (Edgecore AS9736-64D, Tomahawk 4, 64 x 400G QSFP56-DD, 25.6 Tbps with on-chip buffering) breaks out to 100G and 25G. Optics have proven interoperability from multiple vendors, so contact us for the transceiver list for your build. The switch platforms are listed in the HCL.

IP Infusion との単一の契約で OcNOS-DC ソフトウェアと検証済みのスイッチハードウェアを一括してカバーするため、TAC も SLA も一本化されます。サポートはティア制です。Standard はメール TAC・営業時間内の電話サポート・ハードウェア RMA 調整を含み、P1 対応は 8 時間です。Premium はこれに 24/7 のカスタマーサポートポータルと 2 時間の P1 対応を追加します。Enterprise はさらに 30 分の P1 対応とカスタマーサクセスマネージャーを追加します。24/7 ポータルは Premium および Enterprise で利用可能です。