RDMA とは何か。

RDMA は Remote Direct Memory Access の略です。あるマシンが、どちらのマシンの CPU も介さず、オペレーティングシステムのカーネルを経由したデータコピーもせずに、ネットワーク越しに別のマシンのメモリを直接読み書きできるようにします。ネットワークアダプターが、両端のアプリケーションメモリ間でバイトを直接移動します。その結果、CPU のオーバーヘッドがほとんどないまま、非常に低い遅延と非常に高いスループットが得られます。これが、AI 学習中に GPU がデータを交換する標準的な方法として RDMA が使われている理由です。

RoCEv2（RDMA over Converged Ethernet, version 2）は、宛先 UDP port 4791 を用いて RDMA を UDP および IP にカプセル化し、別個のネットワークを必要とせずに、RDMA を標準の Layer 3 Ethernet データセンター全体にわたってルーティング可能にします。RDMA 操作は依然として同じゼロコピー・CPU バイパス動作でアダプタ間で実行され、RoCEv2 はそれにルーティング可能な Ethernet 経路を与えるだけです。これこそが、マルチベンダー Ethernet ファブリックを GPU クラスターにおける InfiniBand の実用的な代替とします。

AI training runs collective operations such as AllReduce, where the gradients from every GPU are combined across all GPUs after each step, moving enormous amounts of data on a tight schedule. If the CPU had to copy every message through the kernel, it would become the bottleneck and burn power doing it. RDMA removes the CPU and the copies from the data path, so a GPU's data lands in the peer GPU's memory with minimal latency, which shortens the exchange every GPU is waiting on.

RDMA はネットワークがパケットをドロップしないことを前提に設計されました。パケットが失われると回復処理は高くつき、テールレイテンシが急増し、GPU コレクティブ全体を停止させかねません。そのため Ethernet 上の RDMA はロスレスファブリック上で動作します。Priority Flow Control と ECN がネットワークをノードロップに保ちます。OcNOS-DC はそのファブリックを、Broadcom Tomahawk 5 ハードウェア上で PFC・ECN・動的ロードバランシングによって提供します。詳細はロスレス Ethernet および RoCEv2 のページをご覧ください。