AI クラスター向け RoCE 対 InfiniBand
RoCEv2 は RDMA をオープンでマルチベンダーな Ethernet 上で動作させます。一方 InfiniBand はシングルベンダーのロスレスファブリックです。 RoCEv2 は PFC と ECN によってロスレスを維持し、DCQCN によって輻輳を制御します。一方 InfiniBand はクレジットベースのフロー制御によって設計上ロスレスです。大半の AI ワークロードにおいて、RoCEv2 を用いた Ethernet は今やハードウェアの選択肢を保ちながら InfiniBand に匹敵します。本ページでは両者を軸ごとに比較します。
同一の GPU、ロスレスを維持する 2 つの方式
左：Ethernet 上の RoCEv2 は、ホップごとの PFC ポーズ、スイッチ上での ECN マーキング、送信 NIC 側での DCQCN レート制御によってキューを浅く保ちます。右：InfiniBand はクレジットベースのフロー制御を用い、受信側がバッファクレジットを通知した場合にのみ送信します。両者ともドロップを回避します。一方はオープンでマルチベンダーな Ethernet 上で、もう一方はシングルベンダーのファブリック上で実現します。
RoCE と InfiniBand、軸ごとの比較
RoCE は RDMA over Converged Ethernet であり、AI にとって重要なバージョンは RoCEv2 です。これは RDMA を宛先ポート 4791 で UDP/IP にカプセル化し、トラフィックを Layer 3 Ethernet ファブリック全体でルーティング可能にします。InfiniBand は InfiniBand Trade Association による専用設計のインターコネクトであり、クレジットベースのフロー制御によってアーキテクチャ上ロスレスです。AI クラスターにとっての実際的な問いは、コスト・サプライチェーン・運用を健全に保ちながら、どのトランスポートがワークロードを満たすかという点です。
| 観点 | RoCEEthernet 上の RoCEv2、オープン | InfiniBandシングルベンダーのファブリック |
|---|---|---|
| トランスポートと標準 | UDP/IP 上の RDMA（RoCEv2、IBTA）で、宛先 UDP ポート 4791 で Layer 3 ルーティング可能。標準の IEEE Ethernet 上で動作します。 | 専用設計の InfiniBand リンク層およびトランスポート層（IBTA）で、専用スイッチとホストチャネルアダプターを備えます。 |
| 無損失を維持する仕組み | ホップバイホップのフロー制御にはPFC、エンドツーエンドの輻輳制御にはDCQCNを備えたECNを用い、スイッチキューを浅く保つことでRDMAのドロップを回避。 | クレジットベースのフロー制御。送信側は通知された受信側バッファクレジットに対してのみ送信するため、ファブリックは設計上無損失。 |
| エコシステム | あらゆるレイヤーでオープンかつマルチベンダー。スイッチASIC・スイッチ・NIC・NOS・光部品を独立したサプライヤーから調達可能。 | NICとスイッチシリコンは実質的にシングルベンダー。ファブリック・アダプター・管理が一体のスタックとして提供される。 |
| スイッチシリコンの選択肢 | Edgecore・UfiSpaceをはじめとする各プラットフォームにわたるBroadcom Tomahawk 5（51.2 Tbps、64x800G）およびTomahawk 4（25.6 Tbps、64x400G）。 | シリコンはInfiniBandベンダーのみから供給。独立したASICやスイッチの供給はなし。 |
| 輻輳制御 | エンドツーエンドのDCQCN。スイッチがECNをマークし、送信側NICがレートを下げる。動的ロードバランシング（DLB）がフローを分散し、ローカルな輻輳に応じて再調整する。 | 仕様に組み込まれた適応型ルーティングを備えたクレジットベースのフロー制御。 |
| 規模 | Tomahawk 5 では、2 階層ファブリックが GPU あたり 800G、1:1 ノンブロッキングで 4,096 GPU に到達します。スーパースパイン階層を追加すると、設計を最大 16,384 GPU まで拡張できます。 | 単一ベンダーのファブリック内で、集中型サブネットマネージャーが管理するファットツリートポロジによってスケール。 |
| 運用とツール | 標準的なEthernet運用。BGP・EVPN・gNMI／OpenConfigテレメトリ、そしてデータセンター全体で用いられるのと同じ自動化（Ansible・NETCONF）。 | データセンターの他の運用モデルとは分離された、専用のInfiniBandツールとサブネットマネージャー。 |
| ベンダーロックイン | 本質的にロックインなし。ハードウェアとソフトウェアを自由に組み合わせ、サプライチェーンをセカンドソース化可能。 | 高い。NIC・スイッチ・配線・管理は通常、単一ベンダーから提供される。 |
InfiniBandはInfiniBand Trade Associationの商標です。NVIDIAおよびMellanoxはそれぞれの所有者の商標です。この比較は情報提供を目的としたものであり、提携や推奨を示すものではありません。
それぞれが適する領域
適切な答えはワークロード固有です。絶対的なレイテンシの下限が要件となる場合はInfiniBandを、運用モデル・コスト・拠点間のリーチが決め手となる場合はRoCEを選択してください。
レイテンシの下限が仕様要件
総所有コストよりもNIC間レイテンシの絶対的な下限が重視される密結合HPCシミュレーション、およびシングルベンダースタックが許容される専有シングルテナントクラスター。
運用とサプライチェーンが重要
データセンターの他の部分と、単一の運用モデル・単一のツールスタック・マルチベンダーのサプライチェーンを共有するマルチテナントのGPU-as-a-ServiceおよびAI バックエンド。
GPUあたりのコストが決め手
OcNOS-DC は複数ベンダーのオープンハードウェア上で動作するため、スイッチハードウェアを競争的に調達できます。
ファブリックがデータセンターにまたがる
Ethernetは400G ZR/ZR+コヒーレント光を用いて、別個の長距離ゲートウェイレイヤーなしに、ホール間および地域間へと自然に拡張。
OcNOS-DCがRoCEv2の道筋を実現する仕組み
OcNOS-DC は RoCEv2 が必要とするロスレス Ethernet 基盤を提供します。スイッチが損失回避と輻輳制御のプリミティブを供給し、RoCEv2 は NIC 上で動作するトランスポートです。
PFC と ECN
プライオリティフロー制御。これにはDCBX／LLDPを用いたLayer 3上のPFC-with-QoS、さらにECN、そしてTomahawk 5ではDynamic ECNが含まれ、RDMAフローがドロップなしに浅いキューを維持します。
DCQCNマーキング
スイッチがECNをマークすることで、エンドツーエンドの NICとスイッチによるDCQCNループ が送信側のレートを制限可能。ETSとWREDがRDMAを運ぶキューをシェーピングし管理します。
DLBとRTAG7
ダイナミックロードバランシング （Tomahawk 5 上の Reactive Path Rebalance および Random Flow を含む）は RTAG7 ハッシングと組み合わせてコレクティブを分散し、ローカルな輻輳に応じて再調整します。
PFCデッドロック保護
PFCデッドロック検出とリカバリ とバッファチューニングにより、PFCが生じさせ得るポーズ伝播下でも無損失ファブリックを安定に保ちます。
gNMI／OpenConfig
ストリーミング gNMIおよびOpenConfigテレメトリ はクラスターの立ち上げおよび定常運用時のクローズドループチューニングに向けて可視性を提供します。
Ultra Ethernet Consortium メンバー
IP Infusion は Ultra Ethernet Consortium（UEC）のメンバーです。UEC 1.0 が定義するのは マルチパスのイーサネットトランスポート で、1 つのフローを多数のパスに分散し、UEC 対応 NIC 上で動作します。
シリコンの選択はオープンです。OcNOS-DC は、Broadcom Tomahawk 5 上の Edgecore AIS800-64D および UfiSpace S9321-64E／S9321-64EO（-64EO は 400G ZR+ を追加）、そして Tomahawk 4 上の Edgecore AS9736-64D で動作し、いずれもオンチップの共有バッファプラットフォームです。OcNOS Systems では、1 つの IP Infusion 契約でソフトウェアと認定済みハードウェアを、1 つの TAC と 1 つの SLA でカバーします。
多くのオペレーターがAI バックエンドにEthernetへ移行する理由
この移行は、素のレイテンシよりも運用面と経済面によるものです。大規模構築では3つの要素が急速に効いてきます。データセンターの他の部分と共有される単一のネットワークモデル、マルチベンダーのサプライチェーン、そして400Gおよび800Gにおけるポートあたりの低コストです。
その規模は現場で実証済みです。Meta は、かつて InfiniBand が必要と考えられていた規模である 24,576 GPU クラスター上の RoCE Ethernet ファブリックで、最大規模のモデルをトレーニングしたと説明しています。Tomahawk 4 および Tomahawk 5 の動的ロードバランシングはリアルタイムの輻輳に応じてフローを再割り当てするため、静的ハッシングでは活用しきれない状況でも、適切に運用されたファブリックは 90 パーセントを超える利用率を目標にできます。
InfiniBandに残る優位性、すなわちより低い絶対レイテンシの下限は、一部の密結合HPCワークロードにおいては依然として重要です。しかし大規模な分散トレーニングおよび推論のコレクティブの大半では、適切にチューニングされたRoCEv2 ファブリックはジョブ完了時間を左右するしきい値を下回ります。だからこそ、新規のAI バックエンド構築の多くは、いまや運用面と経済面の観点によって決まるのです。
- データセンターの他の部分と共有される単一のネットワークモデル。スキルとツールをそのまま活用可能。
- シリコン・スイッチ・NIC・光部品をセカンドソース化できるマルチベンダーのサプライチェーン。
- 400Gおよび800Gにおけるポートあたりの低コスト。より多くのGPU、より大規模なストレージ層、あるいは第2拠点への資本を確保。
どちらも有効であり、新規のAI バックエンドの大半はEthernetに落ち着く
InfiniBandは、一部の密結合HPCワークロードが引き続き対価を払うだけの、より低い絶対レイテンシの下限を保っています。しかし大半のAI バックエンド構築では、運用面と経済面の観点がオープンEthernet上のRoCEv2を選ぶ決め手となります。
どちらも有効
InfiniBandは、一部の密結合HPCワークロードが引き続き対価を払うだけの、より低い絶対レイテンシの下限を保っています。
RoCEv2はAI向けの差を埋めた
PFC・ECN・DCQCN・動的ロードバランシングを正しく構成すれば、Ethernetはハードウェアの選択肢を保ちつつ、大半の分散トレーニングコレクティブでInfiniBandに匹敵します。
決定は通常、運用面によるもの
単一のネットワークモデル、マルチベンダーのサプライチェーン、そして400Gおよび800Gにおけるポートあたりの低コストが、新規のAI バックエンド構築の大半を決定づけます。
OcNOS-DC はオープンな道筋
Edgecore と UfiSpace の認定済みオープンハードウェア上で、RoCEv2 プリミティブを現在利用できます。OcNOS Systems なら 1 つの契約、1 つの TAC、1 つの SLA。
AIファブリックリファレンスデザインを入手
PDF 全文：ロスレス RoCEv2 トポロジー、スイッチとトランシーバーの数量、認定済みプラットフォーム、OcNOS-DC 上の DCQCN の初期プロファイル。
AIファブリックリファレンスデザインを入手
簡単なフォームです：送信後すぐに PDF がダウンロードされます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
RoCE対InfiniBand FAQ
RoCEとInfiniBandの違いは何ですか。
EthernetはAI向けにInfiniBandと同等の速さですか。
RoCEv2 とは何ですか。
RoCEには無損失ファブリックが必要ですか。
RoCEをオープンスイッチ上で動作させられますか。
Ultra Ethernetについてはどうですか。
さらに詳しく。資料をお持ち帰りください。
製品データシートと、このページよりもさらに踏み込んだ簡潔で技術的なダウンロード資料です。
OcNOS-DC データシート
OcNOS-DC の完全な仕様。EVPN-VXLAN と Ethernet for AI の機能セット、ソフトウェア SKU、サポート対象ハードウェアプラットフォーム、ソリューション発注ガイドを収録しています。
データシートを入手
OcNOS 800G ロスレス AI Fabric
Tomahawk 5 スパイン上のロスレス RoCEv2 ファブリック：SKU 階層、認定済みプラットフォーム、導入アーキテクチャ。
概要資料を入手
EVPN-VXLAN データセンターファブリック
EVPN-VXLAN によるリーフスパイン型データセンターファブリック：テナントごとの VRF と VNI、EVPN マルチホーミング、BGP unnumbered、ルートターゲットフィルタリング。
概要資料を入手OcNOS-DC データシート
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
OcNOS 800G ロスレス AI Fabric
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
EVPN-VXLAN データセンターファブリック
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
OcNOS で AI ファブリック全体を設計
ビジネスケースからポート数の計算まで、構築のどの段階からでも着手できます。
InfiniBandと比較してRoCEv2 ファブリックのサイジングをご検討ですか。ワークロード固有の計算を実施しましょう
ワークロードとGPU規模をお知らせいただければ、IP Infusionのエンジニアが一緒に数値を算出します。あるいはAI Fabric Design Suiteで初回のleaf-spineレイアウトから始めることもできます。