RDMA とは何か。

RDMA stands for Remote Direct Memory Access. It lets one machine read or write another machine's memory directly over the network, without involving either machine's CPU and without copying the data through the operating system kernel. The network adapter moves the bytes straight between application memory on both ends. The result is very low latency and very high throughput with almost no CPU overhead, which is why RDMA is the standard way GPUs exchange data during AI training.

RoCEv2（RDMA over Converged Ethernet, version 2）は、宛先 UDP port 4791 を用いて RDMA を UDP および IP にカプセル化し、別個のネットワークを必要とせずに、RDMA を標準の Layer 3 Ethernet データセンター全体にわたってルーティング可能にします。RDMA 操作は依然として同じゼロコピー・CPU バイパス動作でアダプタ間で実行され、RoCEv2 はそれにルーティング可能な Ethernet 経路を与えるだけです。これこそが、マルチベンダー Ethernet ファブリックを GPU クラスターにおける InfiniBand の実用的な代替とします。

AI training runs collective operations such as AllReduce, where every GPU exchanges gradients with every other GPU after each step, moving enormous amounts of data on a tight schedule. If the CPU had to copy every message through the kernel, it would become the bottleneck and burn power doing it. RDMA removes the CPU and the copies from the data path, so a GPU's data lands in the peer GPU's memory with minimal latency, which shortens the exchange every GPU is waiting on.

RDMA はネットワークがパケットをドロップしないことを前提に設計されました。パケットが失われると回復処理は高くつき、テールレイテンシが急増し、GPU コレクティブ全体を停止させかねません。そのため Ethernet 上の RDMA はロスレスファブリック上で動作します。Priority Flow Control と ECN がネットワークをノードロップに保ちます。OcNOS-DC はそのファブリックを、Broadcom Tomahawk 5 ハードウェア上で PFC・ECN・動的ロードバランシングによって提供します。詳細はロスレス Ethernet および RoCEv2 のページをご覧ください。