RoCEv2: Ethernet lossless per AI fabric
RoCEv2 è il modo in cui RDMA gira su Ethernet standard: incapsula RDMA in UDP/IP e usa la porta di destinazione UDP 4791, così che il traffico collettivo delle GPU sia instradabile su un normale fabric leaf-spine. Richiede un fabric lossless costruito con PFC ed ECN, con DCQCN come anello di controllo della congestione, e OcNOS offre oggi l'intero toolkit su hardware aperto 400G e 800G supportato.
Le stesse GPU su un fabric leaf-spine lossless
Una compatta slice di rail: due spine e due leaf che trasportano RoCEv2 tra quattro GPU. I frame di pausa PFC viaggiano hop dopo hop in caso di congestione, mentre ECN marca gli elephant flow per la reazione DCQCN alla sorgente. RDMA è incapsulato in UDP/IP sulla porta di destinazione 4791, così che lo stesso traffico sia instradabile su un fabric Ethernet standard.
La perdita quasi nulla mantiene efficienti le collettive GPU
Le collettive GPU (all-reduce, all-gather, all-to-all) generano elephant flow che saturano i singoli percorsi del fabric e richiedono una perdita quasi nulla per mantenere efficienti i job di training. Basta scartare un singolo pacchetto su un link RoCEv2 400G e la NIC interessata ritrasmette l'intera finestra di invio RDMA, misurabile come secondi di tempo di inattività della GPU. RoCEv2 trasforma un fabric leaf-spine in un trasporto lossless per questi workload incapsulando RDMA in UDP/IP sulla porta di destinazione 4791, così che lo stesso traffico sia instradabile a Layer 3.
| Parameter | RoCEv1Layer 2 | RoCEv2UDP/IP, instradabile |
|---|---|---|
| Encapsulation | RDMA trasportato direttamente su Ethernet (EtherType dedicato). | RDMA incapsulato in UDP/IP, usando la porta di destinazione UDP 4791. |
| Livello di rete | Solo Layer 2; confinato a un unico dominio di broadcast. | Instradabile a Layer 3 su un fabric leaf-spine standard. |
| Entropia ECMP | Nessun header IP o UDP da sottoporre a hash; distribuzione dei percorsi limitata. | Porta sorgente UDP variata come identificatore di flusso per distribuire il traffico sui percorsi ECMP. |
| Requisito lossless | Richiede un fabric lossless costruito con PFC ed ECN. | Richiede un fabric lossless costruito con PFC ed ECN, con DCQCN come anello di controllo della congestione. |
| Portata e scala | All'interno di un rack o di una singola subnet. | Fabric di data center instradati; progetti di riferimento per cluster da 256 a 4,096 GPU. |
I controlli che mantengono il fabric lossless
Un fabric RoCEv2 resta lossless grazie a tre meccanismi cooperanti: il priority flow control mette in pausa la classe di traffico corretta, ECN e DCQCN mantengono il throughput senza perdite e il routing adattivo tiene i pochi flussi di grandi dimensioni lontani dagli uplink congestionati.
Pausa per priorità
PFC 802.1Qbb mette in pausa una singola classe di traffico hop dopo hop, così che le code che trasportano RDMA non scartino mai. OcNOS lo abbina a un watchdog deadlock PFC che rileva una priorità bloccata e si ripristina automaticamente prima che si propaghi.
Marcatura ECN e anello DCQCN
L'ECN basato su WRED marca i pacchetti man mano che le code crescono, e DCQCN è l'anello di controllo della congestione che reagisce alla sorgente per mantenere il throughput senza perdite. Impostazioni predefinite ottimizzate per le collettive xCCL, con override parametrico per stack RDMA personalizzati.
Routing adattivo per flowlet
L'hashing ECMP statico entra in collisione sui pochi grandi elephant flow prodotti dalle collettive AI. DLB ridistribuisce i flowlet in caso di saturazione locale del link in finestre inferiori al millisecondo, eliminando le collisioni dell'hashing statico che penalizzano le topologie simmetriche.
RoCEv2 come lo offre OcNOS
Oltre ai controlli lossless, OcNOS include la telemetria, i progetti di riferimento e un percorso di upgrade pulito che trasformano una configurazione lossless in un fabric operabile.
Statistiche di coda per priorità
Sensori in streaming gNMI per profondità delle code, contatori di pausa PFC, pacchetti marcati ECN e rilevamento dei microburst, esportati su un intervallo di campionamento di 10 secondi per l'observability su tutto il fabric.
Fabric ottimizzate per rail
Progetti di riferimento per topologie allineate ai rail e a fabric schedulato, che coprono cluster da 256 a 4,096 GPU su switch aperti 400G e 800G standard. La diagnostica CLI verifica end-to-end una configurazione lossless nota come funzionante.
Un percorso pulito verso Ultra Ethernet
Costruisci RoCEv2 lossless oggi e mantieni un percorso aperto verso Ultra Ethernet, che aggiunge spray di pacchetti e RDMA multi-path all'Ethernet standard man mano che arrivano le NIC UEC. Un unico NOS trasporta entrambi.
Un'unica immagine NOS su hardware aperto
Il toolkit RoCEv2 fa parte della licenza base OcNOS-DC, non è un insieme di add-on a pagamento, e gira invariato su una scelta hardware multi-vendor.
- Scelta hardware aperta. Esegui RoCEv2 su piattaforme UfiSpace, Edgecore o Celestica con la stessa immagine NOS, così che il livello fabric non abbia alcun lock-in di vendor.
- Parità di funzionalità dal primo giorno. Il bilanciamento del carico adattivo, il tuning DCQCN e la telemetria ASIC-native fanno parte della licenza base OcNOS-DC, non sono add-on a pagamento.
- Reference design. Configurazioni di riferimento per le topologie di fabric AI più diffuse, con le configurazioni e i risultati dei test pubblicati.
- Accesso engineering. Il tier di supporto premium include il dialogo diretto con il team RoCEv2 di OcNOS durante il bring-up del fabric.
Ethernet standard, prestazioni RDMA, hardware aperto
RoCEv2 consente a un fabric AI di riutilizzare le operazioni Ethernet e l'hardware che il resto del data center già esegue, e OcNOS è l'abilitatore che lo rende lossless su switch aperti.
Ethernet standard, velocità RDMA
RoCEv2 trasporta RDMA su UDP/IP instradabile, così che le collettive GPU ottengano uno spostamento dati a bassa latenza e basso utilizzo della CPU senza un fabric dedicato separato.
Scelta hardware aperta
La stessa configurazione lossless gira su switch UfiSpace, Edgecore e Celestica a 400G e 800G, mantenendo il livello fabric multi-vendor.
OcNOS è l'abilitatore
PFC, ECN, DCQCN, DLB e la telemetria per priorità arrivano come un unico NOS su switch aperti, così che il fabric lossless completo sia una build, non un progetto di integrazione.
RoCEv2, spiegato
Che cos'è RoCEv2?
Qual è la differenza tra RoCEv2 e RoCEv1?
RoCEv2 richiede una rete lossless?
Quale porta UDP utilizza RoCEv2?
Come si confronta RoCEv2 con InfiniBand?
Approfondite. Portatelo con voi.
Il datasheet di prodotto e download tecnici e sintetici che vanno oltre questa pagina.
Datasheet OcNOS-DC
Specifica completa di OcNOS-DC: il set di funzionalità EVPN-VXLAN e Ethernet for AI, gli SKU software, le piattaforme hardware supportate e la guida all'ordine della soluzione.
Ottieni il datasheetOcNOS 800G Lossless AI Fabric
Fabric RoCEv2 non bloccante su spine Broadcom Tomahawk 4/5: tier di SKU, piattaforme validate e architettura di deployment.
Scarica il briefEVPN-VXLAN data center fabric
Fabric leaf-spine per data center di livello carrier: IRB simmetrico, route Type-2/Type-5 e gateway anycast distribuito.
Scarica il briefDatasheet OcNOS-DC
Modulo rapido. Il suo PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del suo PDF in una nuova scheda…
Se non si è aperto, utilizzi il link qui sotto.
OcNOS 800G Lossless AI Fabric
Modulo rapido. Il suo PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del suo PDF in una nuova scheda…
Se non si è aperto, utilizzi il link qui sotto.
EVPN-VXLAN data center fabric
Modulo rapido. Il suo PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del suo PDF in una nuova scheda…
Se non si è aperto, utilizzi il link qui sotto.
Stai costruendo o scalando un fabric AI? Ottieni una valutazione specifica per il tuo workload
Comunicaci la scala di GPU e il pattern collettivo e un ingegnere IP Infusion dimensionerà con te i tier di switch e ottimizzerà la configurazione lossless, oppure parti da un primo layout leaf-spine con l'AI Fabric Design Suite.
Progettate l'intero fabric AI con OcNOS
Dal business case al calcolo del numero di porte, riprendete da qualunque punto della realizzazione.