Netzwerkdefinition · Clos · EVPN-VXLAN

Was ist eine IP-Fabric?

Eine IP-Fabric ist ein Rechenzentrumsnetz, das als geroutete Leaf-Spine-Clos-Topologie aufgebaut ist: Jeder Link zwischen Switches ist ein Layer-3-Link, alle Pfade zwischen zwei beliebigen Leaves transportieren gleichzeitig Verkehr, und es gibt kein Spanning Tree. Das Underlay ist ein Routing-Protokoll, meist eBGP gemäß RFC 7938. Wo ein Workload noch Layer 2 benötigt, stellt ein EVPN-VXLAN-Overlay diesen auf der gerouteten Fabric bereit. OcNOS-DC baut diese Fabric auf offenen Broadcom Trident und Tomahawk Switches auf.

Zur DC-Fabric-Lösung So funktioniert EVPN-VXLAN

Layer 3auf jedem Fabric-Link

ECMPalle Pfade leiten gleichzeitig weiter

RFC 7938eBGP-Underlay-Design

EVPN-VXLANOverlay, wo L2 benötigt wird

Die Fabric, die Spanning Tree abgelöst hat

Die Rechenzentrumsnetze der 2000er-Jahre waren Layer-2-Bäume. Eine Broadcast-Domäne erstreckte sich über Access-, Aggregations- und Core-Switches, und Spanning Tree hielt sie schleifenfrei, indem es jeden redundanten Link blockierte. Die Hälfte der Fabric lag brach, eine Topologieänderung betraf jeden Switch, und die größte Fehlerdomäne war das gesamte Netz. Die IP-Fabric beseitigt alle drei Probleme, indem sie jeden Link zu einem gerouteten Link macht.

Jeder Pfad leitet weiter. Mit einer Layer-3-Adjazenz auf jedem Leaf-Spine-Link verteilt Equal-Cost-Multipath den Verkehr gleichzeitig auf alle Spines. Ein zusätzlicher Spine erhöht die Kapazität linear.
Ausfälle bleiben klein. Ein ausgefallener Link oder Spine wird vom Routing-Protokoll zurückgezogen, und die Leaves konvergieren um ihn herum neu. Keine Broadcast-Domäne, keine Neuberechnung des Spanning Tree, kein Fabric-weites Leeren.
Sie skaliert in die Breite. Leaves kommen für Ports hinzu, Spines für Bandbreite und eine dritte Ebene aus Super-Spines, wenn ein Pod voll ist. Protokoll und Design ändern sich mit der Größe nicht.

Topologie, Underlay, Overlay

Eine IP-Fabric besteht aus drei aufeinander aufbauenden Entscheidungen. Die Topologie legt fest, wie Switches verbunden sind, das Underlay, wie sie untereinander routen, und das Overlay, falls vorhanden, wie Tenant-Verkehr transportiert wird.

Topologie

Leaf-Spine-Clos

Server sind verbunden mit Leaves; jeder Leaf verbindet sich mit jedem Spine; Spines sind ausschließlich mit Leaves verbunden. Zwei beliebige Server sind gleich viele Hops voneinander entfernt. Ein zweiter Pod fügt oberhalb der Spines eine Super-Spine-Ebene hinzu.

DC-Clos-Fabric-Lösung

Underlay

eBGP, ein AS pro Switch

RFC 7938 setzt eBGP auf jedem Link ein, wobei jedes Leaf ein eigenes privates autonomes System bildet und die Spines sich eines teilen. BGP Unnumbered (RFC 8950) baut Sessions über IPv6-Link-Local-Adressen auf, sodass kein Link ein IPv4-Subnetz benötigt. OcNOS unterstützt BGP Unnumbered mit EVPN-VXLAN seit OcNOS 6.0.

BGP und Unnumbered-Peering

Overlay

EVPN-VXLAN, wenn L2 benötigt wird

BGP EVPN lernt die MAC und IP Erreichbarkeit, VXLAN transportiert Frames über die geroutete Fabric, und IRB routet am Leaf zwischen Subnetzen. Tenants erhalten ein Layer-2-Segment, ohne dass die Fabric ihr geroutetes Underlay aufgibt.

EVPN-VXLAN erklärt

Wann das Underlay genügt und wann nicht

Nicht jede IP-Fabric braucht EVPN. Entscheidend ist, ob etwas auf der Fabric ein Layer-2-Segment, Tenant-Isolation oder eine Adresse benötigt, die einen Umzug übersteht.

Anforderung	Nur Underlay	Mit EVPN-VXLAN-Overlay
Routing von Server zu Server	Ja, nativ	Ja
Layer 2 zwischen Racks	Nein	Ja, pro VNI
Mobilität von VMs oder Containern	Nein, die Adresse ist an den Leaf gebunden	Ja, MAC und IP werden in BGP annonciert
Tenant-Trennung	Nur VRF	VRF plus L2- und L3-VNIs pro Tenant, Inter-VRF-Leaking
First-Hop-Gateway	Auf dem Leaf	Verteiltes Anycast-Gateway auf jedem Leaf (IRB)
Doppelt angebundene Server	Geroutet, pro Link	EVPN-Multihoming mit einem Ethernet-Segment, All-Active
Typischer Einsatz	AI-Training-Back-End, Storage, HPC	Unternehmen, Cloud, mandantenfähig, VM-lastig

OcNOS-DC-Overlay-Funktionen in der Feature-Matrix: Layer-2-EVPN für VXLAN (RFC 7348, 7432, 8365), EVPN-Multihoming, IRB (RFC 9135) seit 4.1, Type-5-Präfixrouten (RFC 9136) seit 4.1, Inter-VRF-Route-Leaking seit 4.2, Overlay-ECMP seit 5.0, DHCP-Relay auf IRB seit 5.0, mehrere Anycast-Gateway-Adressen seit 6.3.1, BFD über IRB seit 6.6.1 und Layer-3-Gateway-Stitching seit 7.0.
Verlustfreier Transport auf derselben Fabric: PFC und ECN über VXLAN seit OcNOS 7.0, sodass eine Overlay-Fabric auch RoCEv2-Storage- oder Inferenzverkehr transportieren kann.

Ein Fabric-Design, drei Workloads

Dasselbe geroutete Clos bedient sehr unterschiedlichen Verkehr. Was sich ändert, sind die Overlay-Entscheidung und das Transport-Tuning, nicht die Fabric.

Unternehmen und Cloud

Mandantenfähige Fabric

EVPN-VXLAN-Overlay, IRB mit einem verteilten Anycast-Gateway, VRFs pro Tenant und EVPN-Multihoming für doppelt angebundene Server.

Mandantenfähige Fabric

AI-Training

AI-Back-End-Fabric

In der Regel kein Overlay. Rail-optimierte Leaves, ein Clos-Spine und verlustfreies RoCEv2 mit PFC und ECN, weil der langsamste Flow die Laufzeit der Jobs bestimmt.

Was ist eine AI-Fabric

Zwischen Standorten

Rechenzentrumskopplung

Type-5-Routen und Layer-3-Gateway-Stitching transportieren Tenant-Präfixe zwischen Fabrics. Über Distanz machen Coherent-Optiken für 400G ZR/ZR+ im Router-Port die Transponder-, Muxponder- und Regenerator-Shelves überflüssig (Regeneratoren innerhalb der Reichweite von 400G ZR/ZR+).