RDMA · RoCEv2 · Ethernet lossless

Cos'è RDMA?

Q: Cos'è RDMA?

RDMA sta per Remote Direct Memory Access. Consente a una macchina di leggere o scrivere direttamente la memoria di un'altra macchina sulla rete, senza coinvolgere la CPU di nessuna delle due macchine e senza copiare i dati attraverso il kernel del sistema operativo. L'adattatore di rete sposta i byte direttamente tra la memoria applicativa di entrambe le estremità. Il risultato è una latenza molto bassa e un throughput molto elevato con overhead di CPU quasi nullo, motivo per cui RDMA è il modo standard con cui le GPU scambiano dati durante l'addestramento IA.

RDMA (Remote Direct Memory Access) consente a una macchina di leggere o scrivere direttamente la memoria di un'altra macchina sulla rete, bypassando sia le CPU sia il sistema operativo. L'adattatore di rete sposta i byte direttamente tra la memoria applicativa di entrambe le estremità, così la latenza è molto bassa e l'overhead di CPU è vicino allo zero. Su Ethernet, RoCEv2 trasporta RDMA così da poter essere instradato, e poiché RDMA presuppone nessun pacchetto scartato, gira su un fabric lossless.

Prenota una revisione dell'architettura Vedi RoCEv2 in dettaglio

Zero-copybypass del kernel, da adattatore ad adattatore

Near zeroOverhead di CPU sul percorso dati

UDP 4791Incapsulamento RoCEv2, instradabile

LosslessOcNOS-DC su Broadcom TH5

Il meccanismo

Zero-copy, bypass della CPU e perché è questo il punto

Un normale trasferimento di rete copia i dati attraverso il kernel e si appoggia sulla CPU a entrambe le estremità. RDMA elimina entrambi. L'adattatore legge direttamente dalla memoria applicativa sul mittente e scrive direttamente nella memoria applicativa sul ricevente, senza che nulla attraversi la CPU sul percorso dati. È questo a offrire la combinazione di RDMA fatta di latenza molto bassa, throughput molto elevato e costo di CPU quasi nullo, ed è il motivo per cui RDMA è diventato lo standard per la comunicazione GPU-a-GPU.

Zero-copy: i byte si spostano direttamente tra la memoria applicativa di entrambe le estremità, senza mai transitare per buffer intermedi del kernel.
Bypass del kernel: l'adattatore di rete, non il sistema operativo, guida il trasferimento, così la CPU è fuori dal percorso dati.
Overhead quasi nullo: la CPU è liberata per eseguire il workload anziché smistare pacchetti, il che è decisivo su scala GPU.

RDMA su Ethernet

Come RoCEv2 trasporta RDMA su Ethernet

RoCEv2 (RDMA over Converged Ethernet, versione 2) incapsula RDMA in UDP e IP, usando la porta UDP di destinazione 4791, così da poter essere instradato attraverso un fabric Ethernet Layer 3 standard senza bisogno di una rete separata. L'operazione RDMA gira comunque da adattatore ad adattatore con lo stesso comportamento zero-copy; RoCEv2 gli fornisce semplicemente un percorso Ethernet instradabile. È questo a permettere a un fabric Ethernet multi-vendor di sostituire InfiniBand sui cluster GPU.

Trasporto instradabile

RDMA viaggia all'interno di UDP e IP sulla porta 4791, così attraversa un data center instradato standard anziché richiedere un fabric dedicato.

Fabric lossless RoCEv2

Rete no-drop

RDMA presuppone che la rete non scarti mai un pacchetto, quindi gira su un fabric lossless con PFC ed ECN che mantengono no-drop ogni hop.

Ethernet senza perdite

Il fabric IA

Questo trasporto è la base di un fabric AI: the GPU-to-GPU network that carries every collective during training.

Cos'è un fabric IA

Perché è importante per l'IA

Perché i collettivi IA dipendono da RDMA, e perché il fabric deve essere lossless

L'addestramento IA esegue operazioni collettive come AllReduce: dopo ogni passaggio, ogni GPU scambia i gradienti con ogni altra GPU, poi tutte attendono quello scambio prima del passaggio successivo. I volumi di dati sono grandi e la pianificazione è serrata, quindi RDMA mantiene ogni scambio veloce e fuori dalla CPU. Poiché un singolo pacchetto perso forza un recupero che fa impennare la tail latency e può bloccare l'intero collettivo, RDMA su Ethernet gira sempre su un fabric lossless.

I collettivi bloccano ogni GPU finché lo scambio non si completa, quindi una latenza più bassa accorcia il passaggio che l'intero cluster sta attendendo.
RDMA mantiene lo scambio fuori dalla CPU e privo di copie, il che, moltiplicato su milioni di passaggi, è una leva diretta sul tempo totale di addestramento.
OcNOS-DC fornisce il fabric no-drop con PFC, ECN e bilanciamento dinamico del carico su Broadcom Tomahawk 5, tenendo i flussi lontani dai collegamenti critici.