什麼是 RDMA？

RDMA 是 Remote Direct Memory Access（遠程直接記憶體訪問）的縮寫。它讓一台機器可以通過網路直接讀寫另一台機器的記憶體，無需任何一方的 CPU 參與，也無需經由作業系統內核複製資料。網路適配器直接在兩端的應用記憶體之間搬運位元組。其結果是極低的時延和極高的吞吐量，而 CPU 開銷幾乎為零，這正是 RDMA 成為 AI 訓練中 GPU 交換資料標準方式的原因。

RoCEv2（RDMA over Converged Ethernet，第 2 版）將 RDMA 封裝於 UDP 與 IP 中，使用目的 UDP 埠 4791，使 RDMA 能跨標準 Layer 3 乙太網路資料中心路由，而非需要另一個網路。RDMA 操作仍以介面卡對介面卡運行，具有相同的零複製、CPU 繞過行為；RoCEv2 只是賦予它一條可路由的乙太網路路徑。這正是讓多廠商乙太網路 fabric 成為 GPU 叢集上 InfiniBand 可行替代方案的關鍵。

AI training runs collective operations such as AllReduce, where the gradients from every GPU are combined across all GPUs after each step, moving enormous amounts of data on a tight schedule. If the CPU had to copy every message through the kernel, it would become the bottleneck and burn power doing it. RDMA removes the CPU and the copies from the data path, so a GPU's data lands in the peer GPU's memory with minimal latency, which shortens the exchange every GPU is waiting on.

RDMA 的設計假設網路不丟棄封包。當封包遺失時，恢復代價高昂並使尾端延遲飆升，這可能使整個 GPU 集合作業停滯。因此乙太網路上的 RDMA 運行在無損 fabric 上：Priority Flow Control 與 ECN 維持網路不丟包。OcNOS-DC 在 Broadcom Tomahawk 5 硬體上提供該 fabric，搭配 PFC、ECN 與動態負載平衡。詳見無損乙太網路與 RoCEv2 頁面了解細節。