Topologie AI Fabric: design rail-optimized e scheduled
La forma del vostro fabric determina la forma del vostro job di training. Questa pagina illustra le tre topologie di riferimento su cui OcNOS-DC è validato, rail-only, rail-optimized e Clos a 3 stadi schedulato, dimensionate in port-count concreti su hardware Broadcom Tomahawk 4 e Tomahawk 5.
Scelga in base al numero di GPU, non alla buzzword
Una topologia AI fabric ha un solo compito: mantenere every Il link in uscita della GPU si satura durante un'operazione collettiva senza generare valori anomali di latenza di coda. La topologia corretta è la più piccola che ottiene questo risultato per il vostro numero di GPU, con un percorso di ripiego verso la dimensione immediatamente superiore. Di seguito: tre progetti di riferimento che OcNOS-DC supporta oggi, con calcoli di porte concreti.
State dimensionando il vostro cluster? The Strumento di dimensionamento AI Fabric fornisce una prima stima rapida: dimensiona un due livelli non bloccanti pod leaf-spine ipotizzando un NIC fabric per GPU, e segnala il passaggio a una scala a tre livelli. I progetti di riferimento seguenti utilizzano il same il calcolo leaf/spine non bloccante e la sua estensione a un Clos a 3 stadi su larga scala, così che il numero di switch corrisponda allo strumento. Rail-optimized ecco la disciplina di cablaggio di un server GPU a 8 NIC (un rail per leaf, così che l'AllReduce intra-rail resti sul leaf) sovrapposta a quella fabric non bloccante: modifica la località del traffico, non il numero di switch. Utilizzate lo strumento per una stima di massima; utilizzate questi progetti per la realizzazione.
Pod non bloccante entry-level
Una sola fila di rack di leaf rail-aligned sopra un piccolo tier spine. Clos folded a due livelli, non bloccante 1:1.
Pod a due livelli rail-optimized
Leaf rail-aligned con una spine non bloccante 1:1. L'AllReduce intra-rail rimane sul leaf; il traffico cross-rail utilizza la spine. L'unità scalabile standard a pod singolo.
Clos a 3 stadi
Leaf, spine, super-spine. Subscription 1:1, non bloccante end-to-end. DLB su ogni livello; GLB end-to-end sul ramo OcNOS 7.1.
Clos a 3 stadi scalato
Clos a 3 stadi multi-pod con un piano super-spine. Dimensionato per la classe di training a trilioni di parametri.
Single Pod ottimizzato per i rail
Ogni server GPU dispone di 8 NIC, una per «rail» (un canale collettivo xCCL dedicato (NCCL / RCCL / oneCCL)). Ogni rail ha il proprio leaf dedicato – di conseguenza tutte le 8 NIC di ciascun server atterrano su un leaf diverso. L'AllReduce sulla rail-N resta all'interno del leaf-N. Nessuna pressione est-ovest sullo spine per il pattern collettivo dominante.
Componenti OcNOS: Underlay L3 BGP-unnumbered, RoCEv2 lossless (PFC + ECN) su ogni leaf, DLB al livello spine. Costruito su hardware presente nella HCL: leaf Edgecore AS9736-64D (TH4) e spine AIS800-64D / UfiSpace S9321-64E (TH5).
Scheduled o Rail-Aligned: cosa cambia su larga scala
Le architetture rail-optimized smettono di scalare da qualche parte tra 1k e 2k GPU: si esaurisce il radix dei leaf, oppure il livello spine diventa troppo sovrascritto (oversubscribed). Oltre tale soglia, ogni AI fabric moderna è un Clos a 3 stadi: leaf, spine, super-spine. Il termine "scheduled" si riferisce all'uso di scheduling fabric pianificato basato su celle or scheduling credit-based sopra il Clos per portare l'utilizzo verso 1.0: esattamente ciò per cui UEC e GLB sono progettati.
Fabric scheduled Clos a 3 stadi: 4.096–16.384 GPU
Tre livelli: leaf, spine, super-spine. Ogni GPU dista esattamente quattro hop di switch da qualsiasi altra GPU. Non-blocking quando i calcoli sulla radix tornano. DLB a ogni hop, GLB sull'intero percorso sul ramo OcNOS 7.1, packet-spray UEC sulle NIC compatibili con UEC. Il diagramma è schematico — rappresenta un numero ridotto di livelli; la configurazione da 4.096 GPU è composta da 128 leaf / 64 spine / 16 super-spine su TH5 800G.
Componenti OcNOS: Underlay L3 eBGP-unnumbered, RoCEv2 lossless (PFC + ECN), DLB a ogni livello, GLB end-to-end sul ramo OcNOS 7.1, streaming telemetry gNMI verso il vostro stack di observability; overlay multi-tenant EVPN-VXLAN dove è richiesta la multi-tenancy. Costruito su chassis TH5 64×800G presenti nella HCL in tutta l'architettura.
Multi-DC e DCI per il training distribuito
Quando una singola sessione di training si estende su più data hall, situazione sempre più comune per i modelli da migliaia di miliardi di parametri, la fabric si estende attraverso la WAN. OcNOS-DC supporta ottiche coerenti 400G ZR / ZR+ direttamente sullo spine per un DCI senza transponder, con l'estensione dei tunnel EVPN che trasporta i tenant VXLAN tra i siti.
AI Fabric multi-DC: DCI coerente
Due data center AI cuciti insieme con 400G ZR/ZR+ sullo spine. L'EVPN inter-DC trasporta l'estensione tenant L2/L3; il Clos a 3 stadi sottostante in ciascun sito resta invariato.
Componenti OcNOS: Ottica coherent pluggable 400G ZR/ZR+ sullo spine stesso, EVPN inter-DC per l'estensione tenant L2/L3, telemetria gNMI tra i siti. Nessun transponder esterno richiesto.
Regole pratiche di progettazione
- Adatti la topologia al numero di GPU. Pod più piccoli (sotto la radix NIC di un singolo leaf): solo rail è sufficiente. Scala a singolo pod: leaf-spine rail-optimized. Multi-pod: il Clos a 3 stadi è l'unico design che scala senza compromessi di oversubscription.
- Sempre subscription 1:1 sul piano AI. I rack di storage e CPU possono operare con rapporti di oversubscription più elevati. Il piano GPU non dovrebbe.
- Pianifichi il numero di rail a partire da xCCL, non in base alla comodità del cablaggio. 8 rail è l'attuale standard de-facto per i server GPU a 8 NIC. Non combini i rail in un numero inferiore di leaf.
- Si scelga il silicio in base a potenza e densità, non al marchio. TH4 (25,6T) e TH5 (51,2T) sono i cavalli da lavoro; la scelta tra i due è una questione di potenza rack e costo dei cavi breakout.
- Pianifichi GLB / UEC fin dalla fase di progettazione. Costruisca il telemetry plane fin dal primo giorno, anche su una fabric 7.0, così l'upgrade a OcNOS 7.1 GLB diventa un semplice passaggio software. Veda GLB e Ultra Ethernet.
- Verificare rispetto all'HCL. Ogni riferimento qui è costruito su hardware elencato nel OcNOS Hardware Compatibility List; partite da qui per un supporto di prima classe.
Sta progettando il suo AI fabric? Calcoliamo insieme il numero di porte.
Prenoti una Architecture Review →Approfondite. Portatelo con voi.
Due download tecnici e concisi che approfondiscono oltre questa pagina: l'architettura del fabric AI 800G lossless e il riferimento di data center EVPN-VXLAN.
OcNOS 800G Lossless AI Fabric
Fabric RoCEv2 non bloccante su spine Broadcom Tomahawk 4/5: tier di SKU, piattaforme validate e architettura di deployment.
Scarica il briefEVPN-VXLAN data center fabric
Fabric di data center leaf-spine carrier-grade: IRB simmetrico, route Type-2/Type-5 e gateway anycast distribuito.
Scarica il briefOcNOS 800G Lossless AI Fabric
Modulo rapido. Il suo PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del suo PDF in una nuova scheda…
Se non si è aperto, utilizzi il link qui sotto.
Solution_Brief-OcNOS_800G_Ethernet-Based_Lossless_AI_Fabric.pdfEVPN-VXLAN data center fabric
Modulo rapido. Il suo PDF si apre in una nuova scheda subito dopo l'invio.
✓ Apertura del suo PDF in una nuova scheda…
Se non si è aperto, utilizzi il link qui sotto.
OcNOS-modernize-your-data-center-EVPN-VxLAN_Solution-Brief.pdf