RDMA란 무엇입니까?

RDMA stands for Remote Direct Memory Access. It lets one machine read or write another machine's memory directly over the network, without involving either machine's CPU and without copying the data through the operating system kernel. The network adapter moves the bytes straight between application memory on both ends. The result is very low latency and very high throughput with almost no CPU overhead, which is why RDMA is the standard way GPUs exchange data during AI training.

RoCEv2(RDMA over Converged Ethernet, version 2)는 RDMA를 UDP와 IP로 인캡슐화하고 목적지 UDP 포트 4791을 사용하므로, 별도의 네트워크가 필요 없이 표준 Layer 3 이더넷 데이터센터 전반에서 RDMA를 라우팅할 수 있습니다. RDMA 연산은 여전히 동일한 제로 카피, CPU 우회 동작으로 어댑터 대 어댑터로 실행되며, RoCEv2는 단지 이를 라우팅 가능한 이더넷 경로로 제공합니다. 이것이 멀티벤더 이더넷 패브릭을 GPU 클러스터에서 InfiniBand의 실행 가능한 대안으로 만드는 요소입니다.

AI training runs collective operations such as AllReduce, where every GPU exchanges gradients with every other GPU after each step, moving enormous amounts of data on a tight schedule. If the CPU had to copy every message through the kernel, it would become the bottleneck and burn power doing it. RDMA removes the CPU and the copies from the data path, so a GPU's data lands in the peer GPU's memory with minimal latency, which shortens the exchange every GPU is waiting on.

RDMA는 네트워크가 패킷을 드롭하지 않는다고 가정하고 설계되었습니다. 패킷이 손실되면 복구 비용이 크고 테일 레이턴시를 급증시키며, 이는 전체 GPU collective를 정체시킬 수 있습니다. 따라서 이더넷 위의 RDMA는 무손실 패브릭에서 실행됩니다. Priority Flow Control과 ECN이 네트워크를 무드롭으로 유지합니다. OcNOS-DC는 Broadcom Tomahawk 5 하드웨어에서 PFC, ECN, 동적 로드 밸런싱으로 그 패브릭을 제공합니다. 상세는 무손실 이더넷 및 RoCEv2 페이지를 참조하십시오.