UDP 4791 · PFC + ECN · DCQCN

RoCEv2：AI ファブリック向けロスレスイーサネット

RoCEv2 は RDMA を標準 Ethernet 上で動作させる方式です。RDMA を UDP/IP にカプセル化し、UDP 宛先ポート 4791 を使用するため、GPU コレクティブトラフィックは通常のリーフスパインファブリック全体でルーティング可能です。 PFC と ECN から構築されるロスレスファブリックと、輻輳制御ループとしての DCQCN が必要であり、OcNOS はそのフルツールキットを、サポートされる 400G および 800G のオープンハードウェア上で現時点で提供します。

技術デモをリクエスト AI ファブリック設計スイートを開く

UDP 4791RoCEv2 宛先ポート

最大 800Gオープンな RoCEv2 プラットフォーム

1 NOSオープンハードウェア上の OcNOS-DC

256 から 4,096GPUリファレンスデザイン

ロスレスファブリック

ロスレスリーフスパインファブリック上の同一 GPU

コンパクトなレールスライス：2 台のスパインと 2 台のリーフが 4 基の GPU 間で RoCEv2 を伝送します。PFC ポーズフレームは輻輳時にホップごとに伝わり、ECN はエレファントフローをマーキングしてソースでの DCQCN 反応を促します。RDMA は宛先ポート 4791 で UDP/IP にカプセル化されるため、同一トラフィックは標準 Ethernet ファブリック全体でルーティング可能です。

RoCEv2 AIファブリックトポロジ: 2台のスパイン、2台のリーフ、4基のGPUで構成。ロスレスなRoCEv2トラフィックにPFCのpause矢印を表示 — RoCEv2: 2スパイン2リーフのAIファブリック。PFCのpauseフローでロスレスなGPUトラフィックを伝送。

AI fabric にとって RoCEv2 が重要な理由

ほぼゼロの損失が GPU コレクティブの効率を維持

GPU コレクティブ（all-reduce・all-gather・all-to-all）は、単一のファブリック経路を飽和させるエレファントフローを生成し、トレーニングジョブの効率を維持するためにほぼゼロの損失を要求します。400G RoCEv2 リンクで単一のパケットドロップでも発生すると、影響を受けた NIC は RDMA 送信ウィンドウ全体を再送し、これは数秒の GPU アイドル時間として測定されます。RoCEv2 は、RDMA を宛先ポート 4791 で UDP/IP にカプセル化することで、これらのワークロードに対してリーフスパインファブリックをロスレストランスポートに変え、同一トラフィックを Layer 3 全体でルーティング可能にします。

Parameter	RoCEv1レイヤー 2	RoCEv2UDP/IP、ルーティング可能
Encapsulation	RDMA を Ethernet 上で直接伝送（専用 EtherType）。	RDMA を UDP/IP にカプセル化し、UDP 宛先ポート 4791 を使用。
ネットワーク層	Layer 2 のみ。単一のブロードキャストドメインに限定。	標準のリーフスパインファブリック全体で Layer 3 ルーティング可能。
ECMP エントロピー	ハッシュ対象の IP または UDP ヘッダーがなく、経路分散が限定的。	UDP 送信元ポートをフロー識別子として変化させ、トラフィックを ECMP 経路全体に分散。
ロスレス要件	PFC と ECN から構築されるロスレスファブリックが必要。	PFC と ECN から構築されるロスレスファブリックと、輻輳制御ループとしての DCQCN が必要。
到達距離とスケール	ラック内または単一サブネット内。	ルーテッドデータセンターファブリック。256 から 4,096 GPU クラスター向けのリファレンスデザイン。

設計上のロスレス

ファブリックをロスレスに保つ制御機構

RoCEv2 ファブリックは、協調して動作する 3 つのメカニズムによってロスレスを維持します。プライオリティフロー制御が適切なトラフィッククラスをポーズし、ECN と DCQCN が損失なくスループットを保ち、アダプティブルーティングが少数の大規模フローを輻輳したアップリンクから遠ざけます。

プライオリティフロー制御

優先度別ポーズ

802.1Qbb PFC は単一のトラフィッククラスをホップごとにポーズし、RDMA を伝送するキューが決してドロップしないようにします。OcNOS はこれを次と組み合わせます。 PFCデッドロックウォッチドッグストールしたプライオリティを検出し、伝播する前に自動的に復旧します。

PFCデッドロックウォッチドッグ

輻輳制御

ECN マーキングと DCQCN ループ

WRED ベースの ECN はキューが積み上がるにつれてパケットをマーキングし、 DCQCN は輻輳制御ループであり、ソースで反応して損失なくスループットを保ちます。xCCL コレクティブ向けにチューニングされたデフォルト値を備え、カスタム RDMA スタック向けにはパラメトリックなオーバーライドが可能。

DCQCN輻輳制御

ロードバランシング

アダプティブフローレットルーティング

静的な ECMP ハッシュは、AI コレクティブが生成する少数の大規模エレファントフローで衝突を起こします。 DLB はローカルリンクの飽和時にサブミリ秒のウィンドウでフローレットを再配分し、対称トポロジを損なう静的ハッシュの衝突を取り除きます。

DLB アダプティブルーティング

OcNOS の実装

OcNOS が提供する RoCEv2

ロスレス制御に加え、OcNOS はテレメトリ・リファレンスデザイン・クリーンなアップグレードパスを提供し、ロスレス構成を運用可能なファブリックへと変えます。

テレメトリ

優先度ごとのキュー統計

キュー深度・PFC ポーズカウンター・ECN マーク済みパケット・マイクロバースト検出のための gNMI ストリーミングセンサーを、次でエクスポートします。 10-second サンプル間隔ファブリック全体のオブザーバビリティのために。

検証済みプラットフォーム（HCL）

リファレンスデザイン

レール最適化ファブリック

レール整合およびスケジュール方式ファブリックのトポロジ向けリファレンスデザインで、次をカバーします。 256 から 4,096 GPU クラスター既製の 400G および 800G オープンスイッチ上で。CLI 診断が既知の正常なロスレス構成をエンドツーエンドで検証します。

AIファブリックトポロジー

次世代トランスポート

Ultra Ethernet へのクリーンなパス

現時点でロスレス RoCEv2 を構築しつつ、次へのオープンなパスを維持します。 Ultra Ethernet。これは UEC NIC の出荷に合わせ、標準 Ethernet に packet spray とマルチパス RDMA を追加します。1 つの NOS が両者を担います。

Ultra Ethernet（UEC）

Why OcNOS

オープンハードウェア全体で 1 つの NOS イメージ

RoCEv2 ツールキットは有償アドオンの集合ではなく、基本 OcNOS-DC ライセンスの一部であり、マルチベンダーのハードウェア選択全体で変更なく動作します。

オープンなハードウェアの選択。 UfiSpace・Edgecore・Celestica のプラットフォーム上で同一の NOS イメージにより RoCEv2 を動作させ、ファブリック層にベンダーロックインを持ち込みません。
初日からの機能パリティ。 アダプティブロードバランシング・DCQCN チューニング・ASIC ネイティブテレメトリは、有償アドオンではなく基本 OcNOS-DC ライセンスの一部です。
リファレンスデザイン。 主要な AI ファブリックトポロジ向けのリファレンス構成で、構成とテスト結果を公開しています。
エンジニアリングアクセス。 プレミアムサポート階層には、ファブリック立ち上げ時における OcNOS RoCEv2 チームとの直接対話が含まれます。

IP Infusion の見解

標準 Ethernet、RDMA 性能、オープンハードウェア

RoCEv2 により、AI ファブリックはデータセンターの他の部分がすでに運用している Ethernet の運用手法と機材を再利用でき、OcNOS はそれをオープンスイッチ上でロスレスにするイネーブラーです。

標準 Ethernet、RDMA 速度

RoCEv2 は RDMA をルーティング可能な UDP/IP 上で伝送するため、GPU コレクティブは専用設計の別個のファブリックなしに、低レイテンシかつ低 CPU 負荷のデータ移動を実現します。

オープンハードウェアの選択

同一のロスレス構成が UfiSpace・Edgecore・Celestica のスイッチ上で 400G および 800G で動作し、ファブリック層をマルチベンダーに保ちます。

OcNOS がイネーブラー

PFC・ECN・DCQCN・DLB・プライオリティ別テレメトリが 1 つの NOS としてオープンスイッチ上で提供されるため、完全なロスレスファブリックは統合プロジェクトではなく構築作業です。

よくある質問

RoCEv2 に関する疑問にお答えします

RoCEv2 とは何ですか。

RoCEv2（RDMA over Converged Ethernet version 2）は、ルーティング可能な UDP/IP ネットワーク上で RDMA トラフィックを伝送し、サーバーが非常に低いレイテンシと低い CPU オーバーヘッドでメモリ間のデータを直接移動できるようにします。Ethernet fabric 上の AI クラスタや高速ストレージで広く利用されています。

RoCEv2とRoCEv1の違いは何ですか。

RoCEv2はRDMAをUDP/IP上で動作させるためLayer 3ネットワークを越えてルーティング可能であるのに対し、RoCEv1はEthernet（Layer 2）上で直接動作し、単一のブロードキャストドメイン内にとどまります。RoCEv2は、RoCEv1では到達できないより大規模なルーテッドdata center fabricへとスケールします。

RoCEv2 には lossless なネットワークが必要ですか。

RoCEv2 は、パケット損失が生じると RDMA の性能が急激に低下するため、lossless またはそれに近い fabric を必要とします。事業者はフロー制御に PFC を、輻輳制御に DCQCN を伴う ECN を用いてこれを実現し、キューを浅く保つことで RDMA フローが廃棄や再送を回避できるようにします。

RoCEv2はどのUDPポートを使用しますか。

RoCEv2 は、RoCEv2 トラフィック用に IANA が予約している宛先 UDP ポート 4791 を使用します。RDMA は UDP/IP でカプセル化されるため、パケットはルーティング可能であり、UDP 送信元ポートをフロー識別子として変化させることで、トラフィックを ECMP 経路全体に分散できます。

RoCEv2 は InfiniBand と比べてどうですか。

RoCEv2は標準的なEthernetおよびIP上でRDMAを実現するのに対し、InfiniBandは独自のスイッチとアダプターを備えた専用設計の別個のfabricです。RoCEv2はEthernetの運用と機器を再利用できるため、多くのAIおよびストレージネットワークが専用のInfiniBand fabricの代わりにこれを採用しています。

データシートとソリューション概要