RDMA steht für Remote Direct Memory Access. Es ermöglicht einer Maschine, den Speicher einer anderen Maschine direkt über das Netzwerk zu lesen oder zu schreiben, ohne die CPU beider Maschinen einzubeziehen und ohne die Daten durch den Kernel des Betriebssystems zu kopieren. Der Netzwerkadapter bewegt die Bytes direkt zwischen dem Anwendungsspeicher an beiden Enden. Das Ergebnis ist sehr niedrige Latenz und sehr hoher Durchsatz bei nahezu keinem CPU-Overhead, weshalb RDMA die Standardmethode ist, mit der GPUs während des KI-Trainings Daten austauschen.

RDMA · RoCEv2 · Verlustfreies Ethernet

Was ist RDMA?

Q: Warum sind Zero-Copy und CPU-Bypass für KI wichtig?

KI-Training führt kollektive Operationen wie AllReduce aus, bei denen jede GPU nach jedem Schritt Gradienten mit jeder anderen GPU austauscht und dabei enorme Datenmengen auf einem engen Zeitplan bewegt. Müsste die CPU jede Nachricht durch den Kernel kopieren, würde sie zum Engpass und würde dabei Energie verbrauchen. RDMA entfernt die CPU und die Kopien aus dem Datenpfad, sodass die Daten einer GPU mit minimaler Latenz im Speicher der Peer-GPU landen, was den Austausch verkürzt, auf den jede GPU wartet.

RDMA (Remote Direct Memory Access) ermöglicht es einer Maschine, den Speicher einer anderen Maschine direkt über das Netzwerk zu lesen oder zu schreiben, unter Umgehung beider CPUs und des Betriebssystems. Der Netzwerkadapter bewegt Bytes direkt zwischen dem Anwendungsspeicher an beiden Enden, sodass die Latenz sehr niedrig und der CPU-Overhead nahezu null ist. Über Ethernet transportiert RoCEv2 RDMA, sodass es geroutet werden kann, und da RDMA von keinen verworfenen Paketen ausgeht, läuft es auf einer verlustfreien Fabric.

Architektur-Review vereinbaren RoCEv2 im Detail ansehen

Zero-copyKernel-Bypass, Adapter zu Adapter

Near zeroCPU-Overhead auf dem Datenpfad

UDP 4791RoCEv2-Kapselung, routbar

LosslessOcNOS-DC auf Broadcom TH5

Der Mechanismus

Zero-Copy, CPU-Bypass und warum genau das der Punkt ist

Eine normale Netzwerkübertragung kopiert Daten durch den Kernel und stützt sich an beiden Enden auf die CPU. RDMA beseitigt beides. Der Adapter liest direkt aus dem Anwendungsspeicher beim Sender und schreibt direkt in den Anwendungsspeicher beim Empfänger, wobei nichts auf dem Datenpfad die CPU durchläuft. Das liefert RDMAs Kombination aus sehr niedriger Latenz, sehr hohem Durchsatz und nahezu keinen CPU-Kosten, und deshalb wurde RDMA zum Standard für die GPU-zu-GPU-Kommunikation.

Zero-copy: Bytes bewegen sich direkt zwischen dem Anwendungsspeicher an beiden Enden, niemals über zwischengeschaltete Kernel-Puffer geleitet.
Kernel-Bypass: der Netzwerkadapter, nicht das Betriebssystem, steuert die Übertragung, sodass die CPU außerhalb des Datenpfads liegt.
Nahezu null Overhead: die CPU wird freigesetzt, um den Workload auszuführen, statt Pakete zu verschieben, was in GPU-Größenordnung entscheidend ist.

RDMA über Ethernet

Wie RoCEv2 RDMA über Ethernet transportiert

RoCEv2 (RDMA over Converged Ethernet, Version 2) kapselt RDMA in UDP und IP, unter Verwendung des Ziel-UDP-Ports 4791, sodass es über eine standardisierte Layer-3-Ethernet-Fabric geroutet werden kann, ohne dass ein separates Netzwerk erforderlich ist. Die RDMA-Operation läuft weiterhin Adapter zu Adapter mit demselben Zero-Copy-Verhalten; RoCEv2 gibt ihr einfach einen routbaren Ethernet-Pfad. Das ermöglicht es einer Multi-Vendor-Ethernet-Fabric, bei GPU-Clustern an die Stelle von InfiniBand zu treten.

Routbarer Transport

RDMA fährt eingebettet in UDP und IP auf Port 4791, sodass es ein standardisiert geroutetes Rechenzentrum durchquert, statt eine dedizierte Fabric zu benötigen.

Verlustfreie RoCEv2-Fabric

No-Drop-Netzwerk

RDMA geht davon aus, dass das Netzwerk niemals ein Paket verwirft, daher läuft es auf einer verlustfreien Fabric , bei der PFC und ECN jeden Hop No-Drop halten.

Verlustfreies Ethernet

Die KI-Fabric

Dieser Transport ist die Grundlage einer AI-Fabric: the GPU-to-GPU network that carries every collective during training.

Was ist eine KI-Fabric

Warum es für KI wichtig ist

Warum KI-Kollektive von RDMA abhängen und warum die Fabric verlustfrei sein muss

KI-Training führt kollektive Operationen wie AllReduce aus: nach jedem Schritt tauscht jede GPU Gradienten mit jeder anderen GPU aus, dann warten alle auf diesen Austausch vor dem nächsten Schritt. Die Datenmengen sind groß und der Zeitplan ist eng, daher hält RDMA jeden Austausch schnell und von der CPU fern. Da ein einzelnes verlorenes Paket eine Wiederherstellung erzwingt, welche die Tail-Latenz in die Höhe treibt und das gesamte Kollektiv ins Stocken bringen kann, läuft RDMA über Ethernet immer auf einer verlustfreien Fabric.

Kollektive blockieren jede GPU, bis der Austausch abgeschlossen ist, daher verkürzt niedrigere Latenz den Schritt , auf den der gesamte Cluster wartet.
RDMA hält den Austausch von der CPU fern und frei von Kopien, was multipliziert über Millionen von Schritten ein direkter Hebel für die gesamte Trainingszeit ist.
OcNOS-DC stellt die No-Drop-Fabric bereit mit PFC, ECN und dynamischem Load-Balancing auf Broadcom Tomahawk 5, wodurch Flows von überlasteten Links ferngehalten werden.