Definizione di networking · RDMA · RoCEv2

Cos'è una fabric AI?

Una fabric AI è la rete back-end GPU (scale-out) che trasporta il traffico RDMA tra le GPU durante l'addestramento e l'inferenza distribuiti. Collega ogni NIC GPU tra server e pod tramite switch leaf e spine in topologie rail-optimized e Clos, e usa un trasporto Ethernet lossless (RoCEv2 con PFC ed ECN) così nessun pacchetto viene scartato sotto carico. Poiché le GPU si scambiano dati in operazioni collettive sincronizzate, la tail latency della fabric determina il tempo di completamento dei job. Si tratta del significato di networking, non della «data fabric» aziendale usata nella gestione dei dati. OcNOS-DC fornisce questa fabric su hardware Broadcom Tomahawk 5.

Prenota una revisione dell'architettura Vedi le topologie
RoCEv2trasporto Ethernet lossless
51,2 TbpsTomahawk 5, 64x800G
fino a 16.384GPU, tre livelli
OcNOS-DCun NOS su hardware aperto

Il significato relativo al networking, non la "data fabric"

Due campi diversi usano la parola "fabric". Una data fabric è un'architettura software per unificare e governare i dati in tutta un'azienda. Una fabric AI, l'oggetto di questa pagina, è una rete fisica: i cavi, gli switch e il trasporto che spostano il traffico RDMA tra le GPU. Quando un team di infrastruttura AI dice "la fabric era il collo di bottiglia", intende questa rete, quella che ha deciso quanto è durato il processo di addestramento.

  • Data fabric. Un'architettura aziendale di gestione dei dati per unificarli e governarli tra i sistemi. Software, non cavi.
  • Fabric AI. La rete fisica back-end GPU che trasporta RDMA tra le GPU durante l'addestramento e l'inferenza. Questa pagina riguarda questo significato.
  • Perché è importante. La fabric AI è quella che determina il tempo di completamento del job, quindi è progettata per restare lossless e caricata in modo uniforme.

Rail, Clos e un trasporto che non può scartare

Una fabric AI è una rete leaf-spine (Clos) ottimizzata per un unico pattern di traffico: molte GPU che si inviano contemporaneamente flussi di grandi dimensioni. Tre scelte di design la definiscono, e ognuna esiste per proteggere il tempo di completamento del job.

Topologia

Rail-optimized, due livelli poi tre

Ciascuna delle 8 NIC di un server GPU si collega al proprio leaf rail dedicato, così il traffico AllReduce dominante sullo stesso rail resta su un solo leaf. Oltre un singolo pod da 4.096 GPU, lo stesso design rail-optimized aggiunge un terzo livello: leaf, spine e super-spine.

Topologie di fabric AI
Trasporto

RoCEv2 lossless

Le GPU spostano i dati con RDMA, che offre prestazioni scarse quando i pacchetti vengono scartati. PFC impedisce a una coda di switch di andare in overflow e ECN marca i pacchetti in anticipo così la NIC mittente rallenta prima che si verifichi la perdita. Questa combinazione trasporta RoCEv2 su Ethernet.

Fabric lossless RoCEv2
Comportamento

Perché deve essere lossless

OcNOS-DC fornisce questa fabric con PFC (anche su L3), ECN, ECN dinamico, WRED, e bilanciamento dinamico del carico per mantenere ogni percorso caricato in modo uniforme, perché il flusso di coda decide quando termina l'intero job.

Ethernet senza perdite

Ethernet è sufficiente, e lo switch fissa il tetto

La fabric AI oggi è una rete Ethernet. Ciò che può raggiungere è determinato dal silicio dello switch sottostante e dal numero di GPU per cui progettate.

  • Ethernet è sufficiente. RoCEv2 con PFC ed ECN offre RDMA lossless su hardware standard e multi-vendor. Meta ha pubblicato un cluster di addestramento da 24.576 GPU costruito su Ethernet.
  • Lo switch fissa il tetto. OcNOS-DC gira su piattaforme Broadcom Tomahawk 5 (51,2 Tbps, 64x800G) come l'Edgecore AIS800-64D e l'UfiSpace S9321-64E, la densità richiesta da una fabric GPU a 800G.
  • Progettate in base al numero di GPU. Pod rail-optimized a due livelli fino a 4.096 GPU su Tomahawk 5, poi un terzo livello super-spine fino a 16.384 GPU.

FAQ: Cos'è una fabric AI

Cos'è una fabric AI?
Nel networking, una fabric AI è la rete back-end GPU (scale-out) che trasporta il traffico RDMA tra le GPU durante l'addestramento e l'inferenza distribuiti. Collega le NIC GPU di ogni server e pod così che un'operazione collettiva come AllReduce si completi con la stessa rapidità consentita dal collegamento più lento. È costruita con switch leaf e spine in topologie rail-optimized e Clos, ed esegue un trasporto Ethernet lossless (RoCEv2 con PFC ed ECN). OcNOS-DC fornisce quella fabric su hardware Broadcom Tomahawk 5.
Una fabric AI è la stessa cosa di una data fabric?
No. Sono termini diversi che condividono una parola. Una data fabric è un'architettura aziendale di gestione dei dati per unificarli e governarli tra i sistemi. Una fabric AI, nel significato di networking qui usato, è una rete fisica back-end GPU che sposta il traffico RDMA tra le GPU. Questa pagina riguarda il significato relativo al networking.
Perché la fabric AI decide il tempo di completamento del job?
L'addestramento GPU procede in modo sincronizzato. Dopo ogni passaggio, le GPU scambiano i gradienti in un'operazione collettiva, e ogni GPU attende il completamento di quello scambio prima che inizi il passaggio successivo. Se un collegamento si blocca o scarta un pacchetto, l'intero job attende. Poiché la fabric trasporta ognuno di questi scambi, è la sua tail latency, non la media, a determinare quanto dura un processo di addestramento, ed è per questo che la fabric è progettata per restare lossless e caricata in modo uniforme.
Ho bisogno di InfiniBand, o Ethernet è sufficiente per una fabric AI?
Ethernet è oggi un trasporto di prima classe per i fabric AI. RoCEv2 con PFC ed ECN offre RDMA lossless su hardware standard multi-vendor, e Meta ha pubblicato un cluster di training da 24.576 GPU costruito su Ethernet. OcNOS-DC gestisce oggi quel fabric RoCEv2, e IP Infusion è membro dell'Ultra Ethernet Consortium.

State costruendo una fabric AI? Dimensioniamolo insieme.

Indicateci la scala GPU e il workload, e un ingegnere IP Infusion elaborerà con voi la topologia e i calcoli sulle porte su hardware aperto Tomahawk 5 con OcNOS-DC.

Prenota una revisione dell'architettura Vedi le topologie

Progettate l'intera fabric AI con OcNOS

Dal business case al calcolo del numero di porte, riprendete da qualunque punto della realizzazione.

Soluzione Fabric AI aperta La fabric AI a 800G completa: switch aperti, OcNOS-DC e supporto sotto un unico contratto. Design di riferimento Topologie di fabric AI Fabric rail-optimized a due e tre livelli, e DCI coerente, dimensionati in numeri reali di porte. Dimensionamento e realizzazione Suite di progettazione per fabric AI Dimensionate una fabric GPU: conteggi di leaf, spine e super-spine con un riepilogo di componenti e alimentazione.
Primi passi con le fabric AI? Iniziate qui Cos'è una fabric AI? Cos'è una fabric GPU? Cos'è l'Ethernet senza perdite? Cos'è RDMA? Switch per AI networking
La tecnologia all'interno RoCEv2 senza perdite Rete rail-optimized DLB GLB (7.1) Ultra Ethernet Tomahawk 6 a 1.6T DCQCN Deadlock PFC InfiniBand vs Ethernet RoCE vs InfiniBand Architettura della fabric AI DCI coerente

Approfondite. Portatelo con voi.

Due download brevi e tecnici che vanno oltre questa pagina: il datasheet completo di OcNOS-DC e l'architettura della fabric AI lossless a 800G.

Datasheet

Datasheet OcNOS-DC

Specifica completa di OcNOS-DC: il set di funzionalità EVPN-VXLAN e Ethernet for AI, gli SKU software, le piattaforme hardware supportate e la guida all'ordine della soluzione.

Ottieni il datasheet
Solution brief

Fabric AI senza perdite OcNOS 800G

Fabric RoCEv2 lossless su spine Tomahawk 5: livelli di SKU, piattaforme qualificate e architettura di deployment.

Scarica il brief