Architettura della fabric per data center IA
Un data center IA esegue quattro piani di rete, non una singola rete piatta: una fabric back-end IA per i collettivi GPU-to-GPU, una fabric di storage, una fabric front-end e un piano di gestione out-of-band isolato. Il Coherent DCI estende il training tra più siti, e OcNOS-DC esegue ogni piano su un unico NOS tramite hardware Broadcom Tomahawk validato.
Progettate i piani, non solo gli switch
La maggior parte degli errori nelle fabric AI sono errori di definizione dell'ambito: i team dimensionano il piano GPU, poi vi agganciano storage, accesso dei tenant e gestione come un ripensamento.
Separate invece il traffico per piano, e date a ciascuno il rapporto di sottoscrizione e l'isolamento di cui ha bisogno. Solo la fabric back-end IA deve essere non-blocking e lossless; le altre tre esistono per tenerle lontano il traffico che non le appartiene. Tutti e quattro i piani, più i link coerenti che uniscono i siti, funzionano su OcNOS-DC e Presente nella HCL hardware Tomahawk e Trident.
Ogni piano ha un compito
Dimensionate ogni piano per il proprio compito, mantenete il suo traffico sui propri cavi, e la fabric resta prevedibile durante un'intera esecuzione di training.
Fabric back-end IA
Il piano GPU-to-GPU che trasporta i collettivi. Costruito 1:1 non bloccante come pod leaf-spine rail-optimized, oppure a tre livelli con un super-spine, su un underlay eBGP puro di Layer 3, e mantenuto lossless con la fabric RoCEv2 che RDMA richiede: PFC (anche su L3, con DCBX/LLDP) ed ECN. DLB distribuisce i flussi così che nessun link diventi un punto critico durante l'AllReduce.
Fabric di storage
Un Clos leaf-spine che sposta checkpoint e dataset tra i rack GPU e lo storage NVMe-oF o NFS. Tipicamente dimensionato intorno a 3:1, poiché i burst di storage tollerano più oversubscription rispetto ai collettivi, e mantenuto lossless così che il traffico di storage RDMA non venga scartato sotto carico.
Fabric front-end
Il piano nord-sud per l'accesso dei tenant, il servizio di inferenza e il percorso verso il resto del data center e Internet. Opera con accesso a 400G o 800G, dimensionato in base al traffico di servizio che trasporta anziché al pattern collettivo del piano back-end.
Gestione out-of-band
Un piano Clos o MLAG separato, con un proprio cablaggio, in modo che l'avvio e il monitoraggio non condividano mai il destino dei piani dati. Trasporta ZTP, SNMP e syslog, oltre alla telemetria in streaming gNMI/OpenConfig, e continua a funzionare mentre un fabric del piano dati viene riconfigurato.
Quattro fabric più il DCI, su un unico NOS
Un data center, quattro piani, esteso a un secondo sito tramite ottica coerente. Il piano back-end IA è non bloccante 1:1; storage, front-end e gestione operano ciascuno al rapporto richiesto dal proprio traffico. Ogni piano esegue OcNOS-DC, e il collegamento DCI ZR+ scala l'addestramento tra i siti senza transponder esterni.
Componenti OcNOS: un underlay eBGP-unnumbered instradato per ciascun piano (il back-end IA è puro Layer 3 eBGP, con EVPN-VXLAN mantenuto come overlay dei tenant anziché come underlay IA), RoCEv2 lossless (PFC + ECN, PFC su L3 con DCBX/LLDP) e DLB sui piani back-end e storage, un piano di gestione isolato per ZTP e telemetria gNMI, e ottica coerente ZR e ZR+ a 400G o 800G ZR per il DCI su AIS800-64D, S9321-64E e AS9736-64D. I piani back-end sono costruiti su hardware Tomahawk 5 presente nella HCL (Edgecore AIS800-64D, UfiSpace S9321-64E / 64EO) e Tomahawk 4 (Edgecore AS9736-64D); il piano di management esegue l'immagine OcNOS-DC MGMT su switch Trident 3.
DCI coerente, senza transponder esterni
Quando un singolo processo di addestramento supera la capacità di una data hall, il fabric si estende attraverso la WAN su ottica coerente pluggable ZR+ a 400G o 800G ZR, direttamente da una porta di bordo.
Su OcNOS-DC, l'ottica 800G ZR funziona sui Tomahawk 5 Edgecore AIS800-64D e UfiSpace S9321-64E, e l'ottica 400G ZR e OpenZR+ sul Tomahawk 4 Edgecore AS9736-64D. Il 400ZR copre distanze metropolitane fino a circa 120 km, e OpenZR+ con oFEC arriva più lontano, lasciando invariato il fabric leaf-spine di ciascun sito. Consultate l'approfondimento sul DCI coerente per i dettagli su ottica e portata.
Quale hardware esegue ciascun piano
I piani AI back-end, storage e front-end eseguono OcNOS-DC su silicio Broadcom Tomahawk. I piani a 800G e il DCI utilizzano Tomahawk 5; i piani entry e a 400G utilizzano Tomahawk 4. Entrambi sono switch con buffer condiviso on-chip. Il piano di management out-of-band esegue l'immagine OcNOS-DC MGMT su switch Trident 3 a 1G/10G, e ogni piattaforma è presente nella Hardware Compatibility List di OcNOS.
| Livello silicio | Tomahawk 5Piani a 800G + DCI | Tomahawk 4piani entry + a 400G |
|---|---|---|
| Componente Broadcom | BCM78900 | BCM56990 |
| Capacità dello switch | 51,2 Tbps | 25.6 Tbps |
| Configurazione delle porte | 64×800G | 64×400G |
| Buffer | Buffer condiviso on-chip; presente nella HCL. | Buffer condiviso on-chip; presente nella HCL. |
| Piattaforme | Edgecore AIS800-64D, UfiSpace S9321-64E, UfiSpace S9321-64EO. Ottica 800G ZR su AIS800-64D e S9321-64E. | Edgecore AS9736-64D. |
| Ruolo nel design | Piani back-end IA e storage a 800G, più il DCI coerente tra i siti. | Build entry e piani front-end o di gestione a 400G. |
La forza di un unico NOS
I quattro piani e i collegamenti DCI non sono quattro prodotti. Sono un unico sistema operativo in quattro ruoli: OcNOS-DC esegue i fabric back-end IA, storage, front-end e di gestione out-of-band, oltre al DCI coerente, con un unico modello di configurazione e un unico stack di telemetria su gNMI e OpenConfig. Il team impara una sola CLI, una sola superficie di automazione e un solo set di contatori per ogni piano.
Un unico modello operativo
Lo stesso modello di routing, QoS e telemetria si applica sia che una porta sia un leaf back-end rivolto alle GPU, un leaf di storage, un bordo front-end o uno switch di gestione.
Un unico contratto di supporto
Un unico contratto IP Infusion copre il software e l'hardware validato, con un solo TAC e un solo SLA su ogni piano. Nessuno scaricabarile tra un fornitore di NOS e un fornitore di hardware.
Un unico elenco hardware
Ogni piano è costruito a partire dalla stessa Hardware Compatibility List di OcNOS, così supporto, ottica e firmware restano coerenti in tutto il design.
Un'unica roadmap in cui crescere
Il GLB su tutto il fabric arriva con OcNOS 7.1. In roadmap: ECN basato sulla latenza (7.1.0), e LLR, CBFS e packet trimming. Il futuro silicio Tomahawk 6 (BCM78910 / BCM78914, 102.4 Tbps, TSMC 3nm) è sul ramo OcNOS 7.2 ed estende lo stesso design con una radix più elevata. Integrate il piano di telemetria fin dal primo giorno, così che queste funzionalità arrivino come passi software.
FAQ sull'architettura del fabric AI
Quali fabric compongono un data center IA?
Quale oversubscription dovrebbe usare ciascun fabric?
Come si collegano due data center IA?
Un unico NOS può eseguire tutti i fabric?
Quale hardware esegue ciascun piano?
Approfondite. Portatelo con voi.
Il datasheet di prodotto e download tecnici e sintetici che vanno oltre questa pagina.
Datasheet OcNOS-DC
Specifica completa di OcNOS-DC: il set di funzionalità EVPN-VXLAN e Ethernet for AI, gli SKU software, le piattaforme hardware supportate e la guida all'ordine della soluzione.
Ottieni il datasheetFabric AI senza perdite OcNOS 800G
Fabric RoCEv2 non bloccante su spine Broadcom Tomahawk 4/5: tier di SKU, piattaforme validate e architettura di deployment.
Scarica il briefFabric data center EVPN-VXLAN
Fabric leaf-spine carrier-grade per data center: IRB simmetrico, route Type-2/Type-5 e gateway anycast distribuito.
Scarica il briefDatasheet OcNOS-DC
Modulo rapido. Il vostro PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del vostro PDF in una nuova scheda…
Se non si è aperto, usate il link qui sotto.
Fabric AI senza perdite OcNOS 800G
Modulo rapido. Il vostro PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del vostro PDF in una nuova scheda…
Se non si è aperto, usate il link qui sotto.
Fabric data center EVPN-VXLAN
Modulo rapido. Il vostro PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del vostro PDF in una nuova scheda…
Se non si è aperto, usate il link qui sotto.
State progettando l'intero data center IA? Pianificheremo ogni piano insieme a voi.
Indicateci la scala GPU e il workload, e un ingegnere IP Infusion dimensionerà con voi i piani back-end, storage, front-end, di gestione e DCI, oppure iniziate con un layout di prima approssimazione nell'AI Fabric Design Suite.
Progettate l'intera fabric AI con OcNOS
Dal business case al calcolo del numero di porte, riprendete da qualunque punto della realizzazione.