Home · Documentazione · Tecnologia · Topologie AI Fabric

Topologie AI Fabric: design rail-optimized e scheduled

The shape of your fabric decides the shape of your training job. This page lays out the reference topologies OcNOS-DC ships against, from a rail-optimized single pod, through a scheduled 3-stage Clos, to coherent multi-DC DCI, sized in concrete port-counts on Broadcom Tomahawk 4 and Tomahawk 5 hardware.

Which AI fabric topology should you use? Pick the smallest non-blocking design that keeps every GPU's link saturated during collectives. Up to about 1,000 GPUs, use a rail-optimized leaf-spine pod (8 rails per GPU server, one rail per leaf). From roughly 1,000 to 16,000+ GPUs, move to a 3-stage Clos (leaf, spine, super-spine). To span data centers, extend with 400G ZR/ZR+ coherent DCI. All three run on OcNOS-DC over a RoCEv2 lossless (PFC + ECN) L3 fabric.

Scelga in base al numero di GPU, non alla buzzword

Una topologia AI fabric ha un solo compito: mantenere every Il link in uscita della GPU si satura durante un'operazione collettiva senza generare valori anomali di latenza di coda. La topologia corretta è la più piccola che ottiene questo risultato per il vostro numero di GPU, con un percorso di ripiego verso la dimensione immediatamente superiore. Di seguito: tre progetti di riferimento che OcNOS-DC supporta oggi, con calcoli di porte concreti.

State dimensionando il vostro cluster? The AI Fabric Design Suite fornisce una prima stima rapida: dimensiona un due livelli non bloccanti pod leaf-spine ipotizzando un NIC fabric per GPU, e segnala il passaggio a una scala a tre livelli. I progetti di riferimento seguenti utilizzano il same il calcolo leaf/spine non bloccante e la sua estensione a un Clos a 3 stadi su larga scala, così che il numero di switch corrisponda allo strumento. Rail-optimized here is the wiring discipline of an 8-NIC GPU server (one rail per leaf, so intra-rail AllReduce stays on the leaf) layered on that non-blocking fabric: it changes traffic locality, not the switch count. Use the tool for a ballpark; use these designs for the build.

256GPUs

Pod non bloccante entry-level

Una sola fila di rack di leaf rail-aligned sopra un piccolo tier spine. Clos folded a due livelli, non bloccante 1:1.

8 leaf · 4 spine · TH4 · 400G
1,024GPUs

Pod a due livelli rail-optimized

Leaf rail-aligned con una spine non bloccante 1:1. L'AllReduce intra-rail rimane sul leaf; il traffico cross-rail utilizza la spine. L'unità scalabile standard a pod singolo.

32 leaf · 16 spine · TH5 · 800G
4,096GPUs

Clos a 3 stadi

Leaf, spine, super-spine. Each 1,024-GPU pod is 1:1 non-blocking; a super-spine plane scales across pods. DLB at every tier; GLB end-to-end on the OcNOS 7.1 train.

128 leaves · 64 spines · 32 super-spines · TH5 · 800G
16,384GPUs

Clos a 3 stadi scalato

Clos a 3 stadi multi-pod con un piano super-spine. Dimensionato per la classe di training a trilioni di parametri.

512 leaves · 256 spines · 128 super-spines · TH5 · 800G
Reference Design 1

Single Pod ottimizzato per i rail

Ogni server GPU dispone di 8 NIC, una per «rail» (un canale collettivo xCCL dedicato (NCCL / RCCL / oneCCL)). Ogni rail ha il proprio leaf dedicato – di conseguenza tutte le 8 NIC di ciascun server atterrano su un leaf diverso. L'AllReduce sulla rail-N resta all'interno del leaf-N. Nessuna pressione est-ovest sullo spine per il pattern collettivo dominante.

AI fabric rail-optimized: 8 rail, leaf rail-aligned, spine non bloccante 1:1 (schematico) Fabric AI rail-optimized. Otto server GPU lungo la parte inferiore, ciascuno con otto NIC allineate a otto rail-leaf. Il rail-N di ogni server si collega al leaf-N. Un tier di spine al di sopra dei leaf trasporta il traffico cross-rail. Il traffico AllReduce dominante rimane all'interno di un singolo rail, senza mai attraversare lo spine. Spine-1TH5 · 800G Spine-2TH5 · 800G Spine-3TH5 · 800G Spine-4TH5 · 800G Rail-1leaf Rail-2leaf Rail-3leaf Rail-4leaf Rail-5leaf Rail-6leaf Rail-7leaf Rail-8leaf GPU Server 1 8 × NIC · 8 rail GPU Server 2 8 × NIC · 8 rail GPU Server 3 8 × NIC · 8 rail GPU Server 4 8 × NIC · 8 rail RAIL-OPTIMIZED · 8 RAILS · INTRA-RAIL ALLREDUCE STAYS LOCAL

Componenti OcNOS: BGP-unnumbered L3 underlay, RoCEv2 lossless (PFC + ECN) on every leaf, DLB at the spine tier. Built on HCL-listed hardware: the 800G scalable unit uses TH5 64×800G leaves and spines (Edgecore AIS800-64D or UfiSpace S9321-64E); the entry 256-GPU pod uses Edgecore AS9736-64D (TH4, 64×400G).

Scheduled o Rail-Aligned: cosa cambia su larga scala

Rail-optimized stops scaling somewhere between 1k and 2k GPUs: you run out of leaf radix, or the spine tier becomes too oversubscribed. Above that, most modern AI fabrics move to a 3-stage Clos: leaf, spine, super-spine. The hard part on a Clos is spreading flows evenly so no link becomes a hot spot. Approaches run from per-flow ECMP, through adaptive (dynamic) load balancing, to per-packet spray, the model Ultra Ethernet uses with reordering handled at the NIC. A separate family, cell-based scheduled fabrics such as Broadcom DDC, segments traffic into cells and schedules it inside the fabric. OcNOS keeps the GPU plane balanced with DLB today and adds fabric-wide GLB on the 7.1 train, and is UEC-ready as UEC NICs arrive.

Reference Design 2

3-Stage Clos Scheduled Fabric: 4,096-16,384 GPUs

Three tiers: leaf, spine, super-spine. Any two GPUs are at most four switch hops apart; same-leaf and same-pod peers are closer. Non-blocking within a pod, with the super-spine plane setting the cross-pod ratio. DLB at every hop, GLB across the full path on the OcNOS 7.1 train, UEC packet-spray on UEC-capable NICs. The diagram is schematic: it draws a reduced tier count; the 4,096-GPU build is 128 leaves / 64 spines / 32 super-spines on TH5 800G.

Topologia scheduled per AI fabric Clos a 3 stadi Topologia Clos a tre stadi. Il tier superiore mostra quattro switch super-spine. Il tier intermedio mostra otto switch spine. Il tier inferiore mostra 12 switch leaf che alimentano i pod GPU. Collegamenti full mesh da leaf a spine e da spine a super-spine. Etichette della banda inferiore: 4096 GPU scheduled fabric, DLB a ogni tier, GLB end-to-end con OcNOS 7.1. Super-Spine-1 Super-Spine-2 Super-Spine-3 Super-Spine-4 Spine-1 Spine-2 Spine-3 Spine-4 Spine-5 Spine-6 Spine-7 Spine-8 L1 L2 L3 L4 L5 L6 L7 L8 L9 L10 L11 L12 SUPER-SPINE SPINE LEAF GPU PODS 128 leaf · 32 GPU/leaf · 4.096 GPU totali · TH5 · 800G 3-STAGE CLOS · 4.096 GPU · DLB EVERY HOP · GLB E2E (OcNOS 7.1) · UEC-READY

Componenti OcNOS: Underlay L3 eBGP-unnumbered, RoCEv2 lossless (PFC + ECN), DLB a ogni livello, GLB end-to-end sul ramo OcNOS 7.1, streaming telemetry gNMI verso il vostro stack di observability; overlay multi-tenant EVPN-VXLAN dove è richiesta la multi-tenancy. Costruito su chassis TH5 64×800G presenti nella HCL in tutta l'architettura.

Subscription is a dial, not a fixed rule. These counts make each 1,024-GPU pod 1:1 non-blocking and use a cost-optimized ~2:1 super-spine for cross-pod traffic, the rail-optimized approach hyperscale Ethernet fabrics rely on (published large-scale designs oversubscribe the top tier far more, because collective traffic stays pod-local). Want maximal any-to-any headroom instead? A fully non-blocking 1:1 build is 128 / 128 / 64 at 4,096 GPUs and 512 / 512 / 256 at 16,384; only the spine and super-spine counts change. Model either in the AI Fabric Design Suite.

Multi-DC e DCI per il training distribuito

Quando una singola sessione di training si estende su più data hall, situazione sempre più comune per i modelli da migliaia di miliardi di parametri, la fabric si estende attraverso la WAN. OcNOS-DC supporta ottiche coerenti 400G ZR / ZR+ direttamente sullo spine per un DCI senza transponder, con l'estensione dei tunnel EVPN che trasporta i tenant VXLAN tra i siti.

Reference Design 3

AI Fabric multi-DC: DCI coerente

Due data center AI cuciti insieme con 400G ZR/ZR+ sullo spine. L'EVPN inter-DC trasporta l'estensione tenant L2/L3; il Clos a 3 stadi sottostante in ciascun sito resta invariato.

AI fabric Multi-DC con DCI 400G ZR/ZR+ Due data center AI, ciascuno con una fabric leaf-spine. I due spine si collegano tramite ottiche coherent 400G ZR/ZR+ su una WAN. I tunnel EVPN inter-DC estendono i tenant da un sito all'altro. Fascia inferiore: DCI coherent senza transponder. DATA CENTER A DATA CENTER B Spine-A1400G ZR+ Spine-A2400G ZR+ Spine-B1400G ZR+ Spine-B2400G ZR+ EVPN inter-DC · 400G ZR/ZR+ Leaf-A1 Leaf-A2 Leaf-A3 Leaf-B1 Leaf-B2 Leaf-B3 GPU pod · Site A GPU pod · Site B DCI COERENTE · SENZA TRANSPONDER · EVPN INTER-DC · 400G ZR/ZR+

Componenti OcNOS: 400G ZR/ZR+ pluggable coherent optics on a DWDM-capable spine or border-leaf port, EVPN inter-DC for tenant L2/L3 extension, gNMI telemetry across sites. No external transponders required. Reach: 400ZR to roughly 120 km amplified; OpenZR+ reaches farther on oFEC.

Regole pratiche di progettazione

  • Adatti la topologia al numero di GPU. Pod più piccoli (sotto la radix NIC di un singolo leaf): solo rail è sufficiente. Scala a singolo pod: leaf-spine rail-optimized. Multi-pod: il Clos a 3 stadi è l'unico design che scala senza compromessi di oversubscription.
  • Sempre subscription 1:1 sul piano AI. I rack di storage e CPU possono operare con rapporti di oversubscription più elevati. Il piano GPU non dovrebbe.
  • Pianifichi il numero di rail a partire da xCCL, non in base alla comodità del cablaggio. 8 rail è l'attuale standard de-facto per i server GPU a 8 NIC. Non combini i rail in un numero inferiore di leaf.
  • Si scelga il silicio in base a potenza e densità, non al marchio. TH4 (25,6T) e TH5 (51,2T) sono i cavalli da lavoro; la scelta tra i due è una questione di potenza rack e costo dei cavi breakout.
  • Pianifichi GLB / UEC fin dalla fase di progettazione. Costruisca il telemetry plane fin dal primo giorno, anche su una fabric 7.0, così l'upgrade a OcNOS 7.1 GLB diventa un semplice passaggio software. Veda GLB e Ultra Ethernet.
  • Verificare rispetto all'HCL. Ogni riferimento qui è costruito su hardware elencato nel OcNOS Hardware Compatibility List; partite da qui per un supporto di prima classe.
Fabric lossless RoCEv2 DLB: routing adattivo GLB: fabric-wide (7.1) Ultra Ethernet (UEC) EVPN-VXLAN Underlay BGP Feature matrix OcNOS Hardware validato (HCL) OcNOS-DC Soluzione AI fabric
FAQ

AI fabric topology FAQ

What is a rail-optimized topology, and how is it different from rail-only?
Rail-optimized wiring connects each of a GPU server's 8 NICs to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf and never traverses the spine. Rail-only is the small-cluster case: a single rack-row of rail-aligned leaves with no spine tier, where cross-rail traffic relies on the GPU scale-up domain. Rail-optimized adds a non-blocking spine so cross-rail flows have a network path.
How many GPUs can a 3-stage Clos scale to?
On radix-64 switches (Tomahawk 5 at 800G) a 2-tier leaf-spine tops out at 2,048 GPUs. A 3-stage Clos with a super-spine tier extends that to 16,000+ GPUs in the reference designs above, and up to about 65,000 GPUs at the theoretical fat-tree limit. Because most collective traffic stays rail-local, the super-spine plane is sized to the cross-pod ratio you actually need.
Should I use Tomahawk 4 or Tomahawk 5?
Both run OcNOS-DC. Tomahawk 4 (25.6 Tbps, 64×400G) is the cost-optimized choice for entry pods and 400G GPU NICs. Tomahawk 5 (51.2 Tbps, 64×800G) is the workhorse for 800G GPU servers and larger fabrics. Tomahawk 4 has no native 800G, so match the switch to your NIC speed.
Do I need InfiniBand, or is Ethernet enough?
Ethernet is now a first-class AI-fabric transport. RoCEv2 with PFC and ECN delivers lossless RDMA today. Ultra Ethernet (UEC) removes the network-wide PFC dependency using endpoint packet-spray, selective retransmission, and link-level retry as UEC NICs ship. OcNOS-DC runs the RoCEv2 fabric today and is UEC-ready.
Where does scale-up end and scale-out begin?
Inside a GPU server and its NVLink domain (for example GB200 NVL72), GPUs communicate over the scale-up fabric at terabit speeds. The rail, leaf-spine, and Clos network is the scale-out fabric between servers and pods. Most same-rail collective traffic is absorbed by scale-up first, so the network carries the cross-rail and cross-pod remainder, which is why 1:1 non-blocking matters most on the GPU plane.

Sta progettando il suo AI fabric? Calcoliamo insieme il numero di porte.

Prenoti una Architecture Review →
AI fabric

Design the whole AI fabric with OcNOS

From the business case to the port-count maths, pick up wherever you are in the build.

Soluzione Open AI Fabric The complete 800G AI fabric: open switches, OcNOS-DC, and support under one contract.
Lei è qui Topologie AI Fabric Rail-optimized, scheduled 3-stage Clos, and coherent DCI, sized in real port counts.
Size & build AI Fabric Design Suite Size a GPU fabric: leaf, spine, and super-spine counts with a component and power summary.
The technology inside RoCEv2 lossless DLB adaptive routing GLB (7.1) Ultra Ethernet DCQCN deadlock PFC InfiniBand vs Ethernet Coherent DCI
Schede soluzione

Approfondite. Portatelo con voi.

Due download tecnici e concisi che approfondiscono oltre questa pagina: l'architettura del fabric AI 800G lossless e il riferimento di data center EVPN-VXLAN.

Solution brief

OcNOS 800G Lossless AI Fabric

Fabric RoCEv2 non bloccante su spine Broadcom Tomahawk 4/5: tier di SKU, piattaforme validate e architettura di deployment.

Scarica il brief
Solution brief

EVPN-VXLAN data center fabric

Fabric di data center leaf-spine carrier-grade: IRB simmetrico, route Type-2/Type-5 e gateway anycast distribuito.

Scarica il brief