RoCEv2: Ethernet lossless per AI fabric
RoCEv2 è il modo in cui RDMA gira su Ethernet standard: incapsula RDMA in UDP/IP e usa la porta di destinazione UDP 4791, così che il traffico collettivo delle GPU sia instradabile su un normale fabric leaf-spine. Richiede un fabric lossless costruito con PFC ed ECN, con DCQCN come anello di controllo della congestione, e OcNOS offre oggi l'intero toolkit su hardware aperto 400G e 800G supportato.
Le stesse GPU su un fabric leaf-spine lossless
Una compatta slice di rail: due spine e due leaf che trasportano RoCEv2 tra quattro GPU. I frame di pausa PFC viaggiano hop dopo hop in caso di congestione, mentre ECN marca gli elephant flow per la reazione DCQCN alla sorgente. RDMA è incapsulato in UDP/IP sulla porta di destinazione 4791, così che lo stesso traffico sia instradabile su un fabric Ethernet standard.
La perdita quasi nulla mantiene efficienti le collettive GPU
Le collettive GPU (all-reduce, all-gather, all-to-all) generano elephant flow che saturano i singoli percorsi del fabric e richiedono una perdita quasi nulla per mantenere efficienti i job di training. RoCEv2 trasforma un fabric leaf-spine in un trasporto lossless per questi workload incapsulando RDMA in UDP/IP sulla porta di destinazione 4791, così che lo stesso traffico sia instradabile a Layer 3.
| Parametro | RoCEv1Layer 2 | RoCEv2UDP/IP, instradabile |
|---|---|---|
| Incapsulamento | RDMA trasportato direttamente su Ethernet (EtherType dedicato). | RDMA incapsulato in UDP/IP, usando la porta di destinazione UDP 4791. |
| Livello di rete | Solo Layer 2; confinato a un unico dominio di broadcast. | Instradabile a Layer 3 su un fabric leaf-spine standard. |
| Entropia ECMP | Nessun header IP o UDP da sottoporre a hash; distribuzione dei percorsi limitata. | Porta sorgente UDP variata come identificatore di flusso per distribuire il traffico sui percorsi ECMP. |
| Requisito lossless | Richiede un fabric lossless costruito con PFC ed ECN. | Richiede un fabric lossless costruito con PFC ed ECN, con DCQCN come anello di controllo della congestione. |
| Portata e scala | All'interno di un rack o di una singola subnet. | Fabric di data center instradati; progetti di riferimento fino a 16.384 GPU. |
I controlli che mantengono il fabric lossless
Un fabric RoCEv2 resta lossless grazie a tre meccanismi cooperanti: il priority flow control mette in pausa la classe di traffico corretta, ECN e DCQCN mantengono il throughput senza perdite e il bilanciamento dinamico del carico tiene i pochi flussi di grandi dimensioni lontani dagli uplink congestionati.
Pausa per priorità
PFC 802.1Qbb mette in pausa una singola classe di traffico hop dopo hop, così che le code che trasportano RDMA non scartino mai. OcNOS lo abbina al rilevamento e ripristino dei deadlock PFC, che rileva una priorità bloccata e la ripristina prima che si propaghi.
Marcatura ECN e anello DCQCN
L'ECN basato su WRED marca i pacchetti man mano che le code crescono, e DCQCN è l'anello di controllo della congestione che reagisce alla sorgente per mantenere il throughput senza perdite.
Bilanciamento del carico sensibile alla congestione
L'hashing ECMP statico entra in collisione sui pochi grandi elephant flow prodotti dalle collettive AI. DLB ridistribuisce i flowlet in caso di saturazione locale del link, eliminando le collisioni dell'hashing statico che penalizzano le topologie simmetriche.
RoCEv2 come lo offre OcNOS
Oltre ai controlli lossless, OcNOS include la telemetria, i progetti di riferimento e un percorso di upgrade pulito che trasformano una configurazione lossless in un fabric operabile.
Telemetria in streaming
Telemetria in streaming su gNMI con modelli OpenConfig per l'observability su tutto il fabric.
Fabric ottimizzate per rail
Progetti di riferimento per topologie allineate ai rail, fino a 16.384 GPU su switch aperti 400G e 800G standard.
Dove si colloca Ultra Ethernet
Ultra Ethernet aggiunge packet spray e RDMA multipath a Ethernet standard, su NIC compatibili UEC. OcNOS-DC esegue già in produzione RoCEv2 lossless, e IP Infusion è membro dell'Ultra Ethernet Consortium.
Un unico NOS su hardware aperto
- Scelta hardware aperta. Eseguite RoCEv2 su piattaforme UfiSpace o Edgecore con lo stesso NOS, così che il livello fabric non abbia alcun lock-in di vendor.
- Licenze a livelli. PFC, ECN ed ETS sono inclusi nei livelli OcNOS-DC IPBASE e PLUS. DLB, Dynamic ECN, il ripristino dei deadlock PFC e il tuning dei buffer sono inclusi nel livello PLUS. La Feature Matrix elenca le piattaforme per ciascuna funzionalità.
Ethernet standard, prestazioni RDMA, hardware aperto
RoCEv2 consente a un fabric AI di riutilizzare le operazioni Ethernet e l'hardware che il resto del data center già esegue, e OcNOS è l'abilitatore che lo rende lossless su switch aperti.
Ethernet standard, velocità RDMA
RoCEv2 trasporta RDMA su UDP/IP instradabile, così che le collettive GPU ottengano uno spostamento dati a bassa latenza e basso utilizzo della CPU senza un fabric dedicato separato.
Scelta hardware aperta
La stessa configurazione lossless gira su switch UfiSpace ed Edgecore a 400G e 800G, mantenendo il livello fabric multi-vendor.
OcNOS è l'abilitatore
PFC, ECN, DLB e la telemetria in streaming arrivano come un unico NOS su switch aperti, così che il fabric lossless completo sia una build, non un progetto di integrazione.
RoCEv2, spiegato
Che cos'è RoCEv2?
Qual è la differenza tra RoCEv2 e RoCEv1?
RoCEv2 richiede una rete lossless?
Quale porta UDP utilizza RoCEv2?
Come si confronta RoCEv2 con InfiniBand?
Approfondite. Portatelo con voi.
Il datasheet di prodotto e download tecnici e sintetici che vanno oltre questa pagina.
Datasheet OcNOS-DC
Specifica completa di OcNOS-DC: il set di funzionalità EVPN-VXLAN e Ethernet for AI, gli SKU software, le piattaforme hardware supportate e la guida all'ordine della soluzione.
Ottieni il datasheetFabric AI senza perdite OcNOS 800G
Fabric RoCEv2 lossless su spine Tomahawk 5: livelli di SKU, piattaforme qualificate e architettura di deployment.
Scarica il briefFabric data center EVPN-VXLAN
Fabric data center leaf-spine su EVPN-VXLAN: una VRF e VNI per tenant, multihoming EVPN, BGP unnumbered e filtraggio per route target.
Scarica il briefDatasheet OcNOS-DC
Modulo rapido. Il vostro PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del vostro PDF in una nuova scheda…
Se non si è aperto, usate il link qui sotto.
Fabric AI senza perdite OcNOS 800G
Modulo rapido. Il vostro PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del vostro PDF in una nuova scheda…
Se non si è aperto, usate il link qui sotto.
Fabric data center EVPN-VXLAN
Modulo rapido. Il vostro PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del vostro PDF in una nuova scheda…
Se non si è aperto, usate il link qui sotto.
State costruendo o scalando un fabric AI? Ottenete una valutazione specifica per il vostro workload
Comunicateci la scala di GPU e il pattern collettivo e un ingegnere IP Infusion dimensionerà con voi i tier di switch e ottimizzerà la configurazione lossless, oppure partite da un primo layout leaf-spine con l'AI Fabric Design Suite.
Progettate l'intera fabric AI con OcNOS
Dal business case al calcolo del numero di porte, riprendete da qualunque punto della realizzazione.