Definizione di networking · Scale-out · RoCEv2

Cos'è un fabric GPU?

Un fabric GPU è la rete back-end che interconnette le GPU tra server e pod affinché possano lavorare insieme su un unico job di addestramento o inferenza. Trasporta il traffico RDMA che le GPU scambiano durante le operazioni collettive, separato dalla rete front-end usata per gestione e storage. È la rete scale-out che inizia dove termina il dominio scale-up all'interno del server, come NVLink, costruita a partire da topologie rail-optimized e Clos che eseguono RoCEv2 lossless, e OcNOS-DC la fornisce su hardware Broadcom Tomahawk 5.

Prenota una revisione dell'architettura Vedi le topologie
4.096 GPU2 tier, 1:1 non-blocking
Fino a 16.384 GPURail-optimized a 3 livelli
51,2 TbpsTomahawk 5 · 64x800G
1 NOSOcNOS-DC su hardware aperto

Lo scale-up termina, lo scale-out inizia

Un fabric GPU si trova da un lato di un confine netto. All'interno di un server, il dominio scale-up opera a velocità dell'ordine dei terabit; tra i server, il fabric GPU scale-out trasporta il resto. Un collettivo usa prima lo scale-up all'interno del dominio, poi questo fabric trasporta il traffico tra i server.

All'interno del server

Dominio scale-up

L'interconnessione a larghissima banda all'interno di un server GPU e del suo dominio strettamente accoppiato, per esempio NVLink all'interno di un rack NVL72. Qui le GPU comunicano come se fossero un unico grande acceleratore. Questa non è la fabric GPU.

Tra i server

Fabric GPU scale-out

La rete Ethernet tra server e pod attraverso i livelli rail, leaf, spine e Clos. Questa è la fabric GPU. Poiché lo scale-up porta prima i dati sul rail di destinazione, questo piano trasporta soprattutto traffico dello stesso rail e tra pod, ed è per questo che proprio qui vale la pena investire nel 1:1 non-blocking.

Rail e Clos

La maggior parte dei fabric GPU sono reti leaf-spine rail-optimized: ciascuna delle 8 NIC di un server GPU si collega al proprio leaf di rail dedicato, così il traffico AllReduce dominante sullo stesso rail resta su un solo leaf e non attraversa mai lo spine. Oltre un singolo pod da 4.096 GPU, lo stesso design rail-optimized aggiunge un livello super-spine.

Leaf rail-optimized

Ciascuna delle 8 NICs di un server si mappa sul proprio leaf rail, mantenendo il traffico AllReduce dominante sullo stesso rail su un unico leaf e fuori dallo spine.

Rete rail-optimized

Scala a tre livelli

Su Tomahawk 5, un fabric a 2 livelli raggiunge 4.096 GPU a 800G per GPU, 1:1 non bloccante; oltre, un terzo livello scala fino a 16.384 GPU.

Topologie di fabric AI

Trasporto RoCEv2 lossless

Il piano GPU trasporta RDMA su RoCEv2, progettato lossless così che un collettivo non si blocchi mai su un pacchetto scartato.

Fabric lossless RoCEv2

RoCEv2 lossless, e OcNOS-DC lo fornisce

Le GPU spostano i dati con RDMA su RoCEv2, che offre prestazioni scarse in caso di perdita di pacchetti. Perciò il fabric GPU è progettato lossless e mantenuto caricato in modo uniforme, così che nessun collegamento diventi un punto critico durante un collettivo. OcNOS-DC fornisce esattamente questo su Broadcom Tomahawk 5, come abilitatore per hardware aperto e multi-vendor.

  • Progettato lossless con Priority Flow Control (anche su L3) ed ECN, così che un passaggio di addestramento non si blocchi mai su un pacchetto scartato.
  • Mantenuto caricato in modo uniforme con DLB, così che nessun singolo collegamento diventi un punto critico durante una collettiva.
  • Fornito da OcNOS-DC su piattaforme Broadcom Tomahawk 5 (51,2 Tbps, 64x800G) come l'Edgecore AIS800-64D e l'UfiSpace S9321-64E.

FAQ: Cos'è un fabric GPU

Cos'è una fabric GPU?
Un fabric GPU è la rete back-end che interconnette le GPU tra server e pod affinché possano lavorare insieme su un unico job di addestramento o inferenza. Trasporta il traffico RDMA che le GPU scambiano durante le operazioni collettive, ed è separato dalla rete front-end usata per gestione e storage. In pratica un fabric GPU è una rete Ethernet leaf-spine (Clos), solitamente rail-optimized, che esegue RoCEv2 lossless. OcNOS-DC lo fornisce su hardware Broadcom Tomahawk 5.
Qual è la differenza tra scale-up e scale-out?
Lo scale-up è l'interconnessione a larghissima banda all'interno di un server GPU e del suo dominio strettamente accoppiato, per esempio NVLink all'interno di un rack NVL72, dove le GPU comunicano a velocità dell'ordine dei terabit come se fossero un unico grande acceleratore. Lo scale-out è la rete tra server e pod, il fabric GPU descritto in questa pagina, costruito a partire dai livelli rail, leaf, spine e Clos su Ethernet. Un collettivo usa prima lo scale-up all'interno del dominio, poi il fabric GPU scale-out trasporta il resto tra i server.
Quale topologia usa un fabric GPU?
Most GPU fabrics use a rail-optimized leaf-spine design: each of a GPU server's 8 NICs connects to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf. As the cluster grows past a single pod, the same rail-optimized design adds a super-spine tier. On Tomahawk 5, a 2-tier fabric reaches 4,096 GPUs a 800G per GPU, 1:1 non bloccante; oltre, un terzo livello scala fino a 16,384 GPUs. See the rail-optimized network and AI fabric topologies pages.
Un fabric GPU deve essere lossless?
Sì, sul piano GPU. Le GPU spostano i dati con RDMA su RoCEv2, che offre prestazioni scarse in caso di perdita di pacchetti, quindi il fabric GPU è progettato lossless con Priority Flow Control ed ECN, e mantenuto caricato in modo uniforme con il bilanciamento dinamico del carico. È questo comportamento no-drop a impedire che un collettivo si blocchi. OcNOS-DC fornisce PFC, ECN, ECN Dinamico e DLB su Broadcom Tomahawk 5 esattamente per questo.

Approfondite. Portatelo con voi.

Due download brevi e tecnici che vanno oltre questa pagina: il datasheet completo di OcNOS-DC e l'architettura della fabric AI lossless a 800G.

Datasheet

Datasheet OcNOS-DC

Specifica completa di OcNOS-DC: il set di funzionalità EVPN-VXLAN e Ethernet for AI, gli SKU software, le piattaforme hardware supportate e la guida all'ordine della soluzione.

Ottieni il datasheet
Solution brief

Fabric AI senza perdite OcNOS 800G

Fabric RoCEv2 non bloccante su spine Broadcom Tomahawk 4/5: tier di SKU, piattaforme validate e architettura di deployment.

Scarica il brief

State realizzando un fabric GPU? Dimensioniamo il piano insieme.

Indicateci il numero di GPU e il workload, e un ingegnere IP Infusion elaborerà con voi i calcoli sulle porte, oppure iniziate da un layout rail-optimized di prima approssimazione nell'AI Fabric Design Suite.

Prenota una revisione dell'architettura Apri la suite di progettazione AI fabric

Progettate l'intera fabric AI con OcNOS

Dal business case al calcolo del numero di porte, riprendete da qualunque punto della realizzazione.

Soluzione Fabric AI aperta La fabric AI a 800G completa: switch aperti, OcNOS-DC e supporto sotto un unico contratto. Design di riferimento Topologie di fabric AI Fabric rail-optimized a due e tre livelli, e DCI coerente, dimensionati in numeri reali di porte. Dimensionamento e realizzazione Suite di progettazione per fabric AI Dimensionate una fabric GPU: conteggi di leaf, spine e super-spine con un riepilogo di componenti e alimentazione.
Primi passi con le fabric AI? Iniziate qui Cos'è una fabric AI? Cos'è una fabric GPU? Cos'è l'Ethernet senza perdite? Cos'è RDMA? Switch per AI networking
La tecnologia all'interno RoCEv2 senza perdite Rete rail-optimized DLB GLB (7.1) Ultra Ethernet Tomahawk 6 a 1.6T DCQCN Deadlock PFC InfiniBand vs Ethernet RoCE vs InfiniBand Architettura della fabric AI DCI coerente