AIファブリックにおけるInfiniBand対Ethernet

大規模なほとんどの分散トレーニングの集合演算については、はい。Ethernetは、InfiniBandよりも数百ナノ秒だけレイテンシの下限が高くなりますが、PFC、DCQCN、DLBを備えたRoCEv2が正しく設定されていれば、これはほとんどのワークロードに影響を与える閾値を下回ります。

絶対的なレイテンシの下限がtotal cost of ownershipよりも重要となる緊密なHPCシミュレーションや、single-vendorのlock-inが許容されるクローズドなシングルテナントクラスタには、InfiniBandを選択してください。

Ethernet は、マルチテナントの GPU-as-a-Service、data center の他の部分と単一の運用モデルおよびツールを共有するクラスタ、コストを重視する数千 GPU 規模の構築、そして coherent DCI と EVPN を介して data center 間にまたがる fabric において優位に立ちます。

OcNOS-DC は、RoCEv2 の lossless トランスポート、DLB アダプティブルーティング、および PFC デッドロックウォッチドッグを現時点で提供し、エンドツーエンドのパススコアリング向けの GLB を 7.1 で、UEC サポートを対応 NIC の出荷に合わせて提供します。これらはすべて、Edgecore や UfiSpace といったベンダーの検証済み open hardware 上で動作します。

おおむねその通りですが、InfiniBand が消え去るわけではありません。Dell'Oro Group によれば、Ethernet は AI バックエンド（スケールアウト）スイッチングで InfiniBand を上回り、2026 年初頭までに市場の約 3 分の 2 に達しました。これは 2023 年後半の InfiniBand の約 80 パーセントのシェアからの変化です。Dell'Oro はまた、NVIDIA Blackwell Ultra 800G の立ち上がりに伴う InfiniBand の力強い反発にも言及しており、密結合 HPC における専門的な選択肢であり続けています。Meta は、2 つの 24,576-GPU クラスターのうち 1 つで、RoCE Ethernet ファブリック上で最大規模のモデルをトレーニングしていると述べています。AMD、Arista、Broadcom、Cisco、Eviden、HPE、Intel、Meta、Microsoft、Oracle をステアリングメンバーに含む Ultra Ethernet Consortium が、この方向性を標準化しています。理由は運用面および経済面にあります。データセンターの他の部分と共有される 1 つのネットワークモデル、マルチベンダーのサプライチェーン、そして 400G および 800G におけるポートあたりの低コストです。

RoCEv2 を備えた Ethernet が主流の代替です。PFC、ECN、DCQCN を用いて RDMA をロスレスで伝送し、DLB によるアダプティブルーティングを加え、UEC NIC の出荷に伴い Ultra Ethernet を通じて packet spray とマルチパス RDMA を獲得します。OcNOS-DC を稼働させるオープンハードウェア上では、シングルベンダーのファブリックではなくマルチベンダースタックでこれを提供します。

Ultra Ethernet（UEC）は、InfiniBand を特徴づけてきたトランスポート技術を標準 Ethernet にもたらします。すなわち、全パスにわたる packet spray、マルチパス RDMA、アウトオブオーダー配送、そして選択的再送です。2025 年 6 月に公開された UEC 1.0 仕様がこのトランスポートを定義します。違いはエコシステムにあります。InfiniBand は NIC およびスイッチシリコンにおいて実質的にシングルベンダーであるのに対し、Ultra Ethernet はあらゆるベンダーが準拠して構築できるオープンかつマルチベンダーの仕様です。

スイッチングレイヤーは AI クラスターの総所有コストにおけるわずかな割合であり、通常は 5 年間で 1 桁パーセントですが、NIC、光学部品、配線を加えるとこの数字は上昇します。同等の容量では、シングルベンダーの InfiniBand は一般に、OcNOS-DC を稼働させるオープンハードウェアの Ethernet に対して価格プレミアムを伴います。より有益な問いは、節約された資本が何を賄うか、すなわちより多くの GPU、より大規模なストレージ層、あるいは冗長性のための第 2 サイトかということです。