Definizione di networking · Clos · EVPN-VXLAN

Che cos'è una fabric IP?

Una fabric IP è una rete di data center costruita come topologia Clos leaf-spine instradata: ogni link tra switch è un link di livello 3, tutti i percorsi tra due leaf qualsiasi trasportano traffico contemporaneamente e non c'è spanning tree. L'underlay è un protocollo di routing, di solito eBGP secondo la RFC 7938. Dove un workload ha ancora bisogno del livello 2, un overlay EVPN-VXLAN lo fornisce sopra la fabric instradata. OcNOS-DC realizza questa fabric su switch aperti Broadcom Trident e Tomahawk.

Layer 3su ogni link della fabric
ECMPtutti i percorsi inoltrano contemporaneamente
RFC 7938progettazione dell'underlay eBGP
EVPN-VXLANoverlay dove serve L2

La fabric che ha sostituito lo spanning tree

Le reti di data center degli anni 2000 erano alberi di livello 2. Un unico dominio di broadcast si estendeva su switch di accesso, aggregazione e core, e lo spanning tree evitava i loop bloccando ogni link ridondante. Metà della fabric restava inattiva, una modifica di topologia coinvolgeva ogni switch e il dominio di guasto più grande era l'intera rete. La fabric IP elimina tutti e tre i problemi rendendo ogni link un link instradato.

  • Ogni percorso inoltra. Con un'adiacenza di livello 3 su ogni link leaf-spine, l'equal-cost multipath distribuisce il traffico su tutti gli spine contemporaneamente. Aggiungere uno spine aumenta la capacità in modo lineare.
  • I guasti restano circoscritti. Un link o uno spine guasto viene ritirato dal protocollo di routing e i leaf riconvergono aggirandolo. Nessun dominio di broadcast, nessun ricalcolo dello spanning tree, nessuno svuotamento dell'intera fabric.
  • Scala in orizzontale. Si aggiungono leaf per le porte, spine per la banda e un terzo livello di super-spine quando un pod è pieno. Protocollo e progetto non cambiano con le dimensioni.

Topologia, underlay, overlay

Una fabric IP è composta da tre decisioni sovrapposte. La topologia stabilisce come si collegano gli switch, l'underlay come instradano tra loro e l'overlay, se presente, come viaggia il traffico dei tenant.

Topologia

Clos leaf-spine

I server si collegano ai leaf; ogni leaf si collega a ogni spine; gli spine si collegano solo ai leaf. Due server qualsiasi distano lo stesso numero di hop. Un secondo pod aggiunge un livello super-spine sopra gli spine.

Underlay

eBGP, un AS per switch

La RFC 7938 prevede eBGP su ogni link, con ogni leaf nel proprio sistema autonomo privato e gli spine che ne condividono uno. BGP unnumbered (RFC 8950) stabilisce le sessioni su indirizzi IPv6 link-local, così nessun link ha bisogno di una subnet IPv4. OcNOS supporta BGP unnumbered con EVPN-VXLAN da OcNOS 6.0.

Overlay

EVPN-VXLAN quando serve L2

BGP EVPN apprende la raggiungibilità MAC e IP degli endpoint, VXLAN trasporta i frame attraverso la fabric instradata e IRB instrada tra subnet sul leaf. I tenant ottengono un segmento di livello 2 senza che la fabric rinunci al suo underlay instradato.

Quando l'underlay basta e quando no

Non tutte le fabric IP hanno bisogno di EVPN. La domanda è se qualcosa sulla fabric richiede un segmento di livello 2, l'isolamento dei tenant o un indirizzo che resti invariato dopo uno spostamento.

EsigenzaSolo underlayCon overlay EVPN-VXLAN
Routing da server a serverSì, nativoSì
Livello 2 tra rackNoSì, per VNI
Mobilità di VM o containerNo, l'indirizzo è legato al leafSì, MAC e IP annunciati in BGP
Separazione dei tenantSolo VRFVRF più VNI L2 e L3 per tenant, route leaking inter-VRF
Gateway di primo hopSul leafGateway anycast distribuito su ogni leaf (IRB)
Server con doppio collegamentoInstradato, per linkMultihoming EVPN con un segmento Ethernet, all-active
Uso tipicoBack-end di addestramento AI, storage, HPCAzienda, cloud, multi-tenant, uso intensivo di VM
  • Funzionalità di overlay di OcNOS-DC nella Matrice funzionalità: EVPN di livello 2 per VXLAN (RFC 7348, 7432, 8365), multihoming EVPN, IRB (RFC 9135) dalla 4.1, route di prefisso Type-5 (RFC 9136) dalla 4.1, route leaking inter-VRF dalla 4.2, ECMP di overlay dalla 5.0, relay DHCP su IRB dalla 5.0, più indirizzi di gateway anycast dalla 6.3.1, BFD su IRB dalla 6.6.1 e stitching dei gateway di livello 3 dalla 7.0.
  • Trasporto lossless sulla stessa fabric: PFC ed ECN su VXLAN da OcNOS 7.0, così anche una fabric con overlay può trasportare traffico RoCEv2 di storage o inferenza.

Un progetto di fabric, tre workload

Lo stesso Clos instradato serve traffici molto diversi. Cambiano la scelta dell'overlay e la regolazione del trasporto, non la fabric.

Azienda e cloud

Fabric multi-tenant

Overlay EVPN-VXLAN, IRB con un gateway anycast distribuito, VRF per tenant e multihoming EVPN per server con doppio collegamento.

Addestramento AI

Fabric back-end IA

Di solito senza overlay. Leaf rail-optimized, uno spine Clos e RoCEv2 lossless con PFC ed ECN, perché il tempo di completamento dei job è determinato dal flusso più lento.

Tra i siti

Interconnessione di data center

Le route Type-5 e lo stitching dei gateway di livello 3 trasportano i prefissi dei tenant tra le fabric. Sulla distanza, le ottiche coerenti 400G ZR/ZR+ nella porta del router eliminano gli shelf di transponder, muxponder e rigeneratori (rigeneratori entro la portata 400G ZR/ZR+).

FAQ: che cos'è una fabric IP

Che cos'è una fabric IP?
Una fabric IP è una rete di data center costruita come topologia leaf-spine instradata. Ogni link tra un leaf e uno spine è un link di livello 3 con la propria adiacenza di routing, così tutti i percorsi tra due leaf qualsiasi vengono usati contemporaneamente tramite equal-cost multipath e non c'è spanning tree che blocchi i link. I servizi di livello 2, dove un workload ne ha ancora bisogno, funzionano come overlay EVPN-VXLAN sopra la fabric instradata. OcNOS-DC realizza questa fabric su switch aperti Broadcom Trident e Tomahawk.
Una fabric IP è la stessa cosa di una fabric Clos?
Quasi. Clos descrive la topologia: una disposizione multistadio in cui ogni leaf si collega a ogni spine, descritta per la prima volta da Charles Clos per la commutazione telefonica. Fabric IP descrive come si gestisce quella topologia: instradata a livello 3 su ogni link. Quasi ogni fabric Clos costruita oggi è una fabric IP, quindi nella pratica i due termini si usano in modo intercambiabile.
Qual è la differenza tra una fabric IP e una fabric di livello 2?
Una fabric di livello 2 estende un unico dominio di broadcast sugli switch e si affida allo spanning tree o a un protocollo multi-chassis proprietario per evitare i loop, lasciando link inattivi e ampliando l'impatto dei guasti. Una fabric IP instrada su ogni link, così ogni percorso inoltra, i guasti vengono circoscritti dal protocollo di routing e la fabric scala aggiungendo spine. Dove un segmento di livello 2 è davvero necessario, EVPN-VXLAN lo fornisce come overlay senza rinunciare all'underlay instradato.
Quale protocollo di routing gestisce l'underlay di una fabric IP?
Di solito eBGP, secondo la RFC 7938, con ogni leaf nel proprio sistema autonomo privato, gli spine che ne condividono uno, e sessioni stabilite su indirizzi IPv6 link-local tramite BGP unnumbered (RFC 8950), così non serve un indirizzamento per link. Anche un IGP come OSPF o IS-IS funziona ed è comune nelle fabric più piccole. OcNOS supporta entrambi, incluso BGP unnumbered con EVPN-VXLAN da OcNOS 6.0.
Mi serve EVPN-VXLAN su una fabric IP?
Solo se i workload hanno bisogno di adiacenza di livello 2, separazione dei tenant o che una macchina virtuale mantenga il proprio indirizzo quando si sposta. Una fabric che si limita a instradare tra server può fermarsi all'underlay. EVPN-VXLAN aggiunge l'overlay: BGP apprende gli indirizzi MAC e IP, VXLAN trasporta i frame attraverso la fabric instradata e IRB instrada tra subnet sul leaf. La maggior parte delle fabric aziendali e multi-tenant lo usa; molte fabric di addestramento AI no.
Quanti livelli ha una fabric IP?
Due livelli per un singolo pod: leaf che collegano i server e spine che collegano i leaf, che formano un Clos a tre stadi. Quando un pod non può contenere tutte le porte, un terzo livello di super-spine collega più pod in un Clos a cinque stadi. Il numero di livelli dipende dal numero di porte e dall'oversubscription, non dal protocollo; lo stesso underlay BGP e lo stesso overlay EVPN funzionano a ogni scala.
Una fabric AI è una fabric IP?
Sì, nella costruzione. Una fabric back-end AI è una fabric IP Clos ottimizzata per un modello di traffico: molte GPU che inviano grandi flussi contemporaneamente. Aggiunge un trasporto lossless (RoCEv2 con PFC ed ECN) e spesso un livello di leaf rail-optimized, e di solito funziona senza overlay EVPN. La fabric IP generale descritta qui è ciò che la fabric AI specializza.

Approfondite. Portatelo con voi.

Due brevi download tecnici che vanno oltre questa pagina: il datasheet completo di OcNOS-DC e il riferimento per data center EVPN-VXLAN.

Datasheet

Datasheet OcNOS-DC

Specifica completa di OcNOS-DC: il set di funzionalità EVPN-VXLAN e Ethernet for AI, gli SKU software, le piattaforme hardware supportate e la guida all'ordine della soluzione.

Ottieni il datasheet
Solution brief

Fabric data center EVPN-VXLAN

Fabric data center leaf-spine su EVPN-VXLAN: una VRF e VNI per tenant, multihoming EVPN, BGP unnumbered e filtraggio per route target.

Scarica il brief

State progettando una fabric IP? Partite dal numero di porte.

Indicateci il numero di server, l'oversubscription che potete accettare e se i tenant hanno bisogno del livello 2. Un ingegnere IP Infusion dimensionerà i livelli leaf, spine e super-spine su hardware Broadcom aperto con OcNOS-DC.