Netzwerkdefinition · Clos · EVPN-VXLAN

Was ist eine IP-Fabric?

Eine IP-Fabric ist ein Rechenzentrumsnetz, das als geroutete Leaf-Spine-Clos-Topologie aufgebaut ist: Jeder Link zwischen Switches ist ein Layer-3-Link, alle Pfade zwischen zwei beliebigen Leaves transportieren gleichzeitig Verkehr, und es gibt kein Spanning Tree. Das Underlay ist ein Routing-Protokoll, meist eBGP gemäß RFC 7938. Wo ein Workload noch Layer 2 benötigt, stellt ein EVPN-VXLAN-Overlay diesen auf der gerouteten Fabric bereit. OcNOS-DC baut diese Fabric auf offenen Broadcom Trident und Tomahawk Switches auf.

Zur DC-Fabric-Lösung So funktioniert EVPN-VXLAN
Layer 3auf jedem Fabric-Link
ECMPalle Pfade leiten gleichzeitig weiter
RFC 7938eBGP-Underlay-Design
EVPN-VXLANOverlay, wo L2 benötigt wird
Warum sie geroutet ist

Die Fabric, die Spanning Tree abgelöst hat

Die Rechenzentrumsnetze der 2000er-Jahre waren Layer-2-Bäume. Eine Broadcast-Domäne erstreckte sich über Access-, Aggregations- und Core-Switches, und Spanning Tree hielt sie schleifenfrei, indem es jeden redundanten Link blockierte. Die Hälfte der Fabric lag brach, eine Topologieänderung betraf jeden Switch, und die größte Fehlerdomäne war das gesamte Netz. Die IP-Fabric beseitigt alle drei Probleme, indem sie jeden Link zu einem gerouteten Link macht.

  • Jeder Pfad leitet weiter. Mit einer Layer-3-Adjazenz auf jedem Leaf-Spine-Link verteilt Equal-Cost-Multipath den Verkehr gleichzeitig auf alle Spines. Ein zusätzlicher Spine erhöht die Kapazität linear.
  • Ausfälle bleiben klein. Ein ausgefallener Link oder Spine wird vom Routing-Protokoll zurückgezogen, und die Leaves konvergieren um ihn herum neu. Keine Broadcast-Domäne, keine Neuberechnung des Spanning Tree, kein Fabric-weites Leeren.
  • Sie skaliert in die Breite. Leaves kommen für Ports hinzu, Spines für Bandbreite und eine dritte Stufe aus Super-Spines, wenn ein Pod voll ist. Protokoll und Design ändern sich mit der Größe nicht.
Wie sie aufgebaut ist

Topologie, Underlay, Overlay

Eine IP-Fabric besteht aus drei aufeinander aufbauenden Entscheidungen. Die Topologie legt fest, wie Switches verbunden sind, das Underlay, wie sie untereinander routen, und das Overlay, falls vorhanden, wie Tenant-Verkehr transportiert wird.

Topologie

Leaf-Spine-Clos

Server sind verbunden mit Leaves; jeder Leaf verbindet sich mit jedem Spine; Spines sind ausschließlich mit Leaves verbunden. Zwei beliebige Server sind gleich viele Hops voneinander entfernt. Ein zweiter Pod fügt oberhalb der Spines eine Super-Spine-Stufe hinzu.

DC-Clos-Fabric-Lösung
Underlay

eBGP, ein AS pro Switch

RFC 7938 setzt eBGP auf jedem Link ein, wobei jeder Switch ein eigenes autonomes System bildet. BGP Unnumbered (RFC 5549) baut Sessions über IPv6-Link-Local-Adressen auf, sodass kein Link ein IPv4-Subnetz benötigt. OcNOS unterstützt BGP Unnumbered mit EVPN-VXLAN seit OcNOS 6.0.

BGP und Unnumbered-Peering
Overlay

EVPN-VXLAN, wenn L2 benötigt wird

BGP EVPN lernt die MAC und IP Erreichbarkeit, VXLAN transportiert Frames über die geroutete Fabric, und IRB routet am Leaf zwischen Subnetzen. Tenants erhalten ein Layer-2-Segment, ohne dass die Fabric ihr geroutetes Underlay aufgibt.

EVPN-VXLAN erklärt
Mit oder ohne Overlay

Wann das Underlay genügt und wann nicht

Nicht jede IP-Fabric braucht EVPN. Entscheidend ist, ob etwas auf der Fabric ein Layer-2-Segment, Tenant-Isolation oder eine Adresse benötigt, die einen Umzug übersteht.

AnforderungNur UnderlayMit EVPN-VXLAN-Overlay
Routing von Server zu ServerJa, nativJa
Layer 2 zwischen RacksNeinJa, pro VNI
Mobilität von VMs oder ContainernNein, die Adresse ist an den Leaf gebundenJa, MAC und IP werden in BGP annonciert
Tenant-TrennungNur VRFVRF plus L2- und L3-VNIs pro Tenant, Inter-VRF-Leaking
First-Hop-GatewayAuf dem LeafVerteiltes Anycast-Gateway auf jedem Leaf (IRB)
Doppelt angebundene ServerGeroutet, pro LinkEVPN-Multihoming mit einem Ethernet-Segment, All-Active
Typischer EinsatzAI-Training-Back-End, Storage, HPCUnternehmen, Cloud, mandantenfähig, VM-lastig
  • OcNOS-DC-Overlay-Funktionen in der Feature-Matrix: Layer-2-EVPN für VXLAN (RFC 7348, 7432, 8365), EVPN-Multihoming, IRB (RFC 9135) seit 4.1, Type-5-Präfixrouten (RFC 9136) seit 4.1, Inter-VRF-Route-Leaking seit 4.2, Overlay-ECMP seit 5.0, DHCP-Relay auf IRB seit 5.0, mehrere Anycast-Gateway-Adressen seit 6.3.1, BFD über IRB seit 6.6.1 und Layer-3-Gateway-Stitching seit 7.0.
  • Verlustfreier Transport auf derselben Fabric: PFC und ECN über VXLAN seit OcNOS 7.0, sodass eine Overlay-Fabric auch RoCEv2-Storage- oder Inferenzverkehr transportieren kann.
Einordnung

Ein Fabric-Design, drei Workloads

Dasselbe geroutete Clos bedient sehr unterschiedlichen Verkehr. Was sich ändert, sind die Overlay-Entscheidung und das Transport-Tuning, nicht die Fabric.

Unternehmen und Cloud

Mandantenfähige Fabric

EVPN-VXLAN-Overlay, IRB mit einem verteilten Anycast-Gateway, VRFs pro Tenant und EVPN-Multihoming für doppelt angebundene Server.

Mandantenfähige Fabric
AI-Training

AI-Back-End-Fabric

In der Regel kein Overlay. Rail-optimierte Leaves, ein geplanter Clos-Spine und verlustfreies RoCEv2 mit PFC und ECN, weil der langsamste Flow die Laufzeit der Jobs bestimmt.

Was ist eine AI-Fabric
Zwischen Standorten

Rechenzentrumskopplung

Type-5-Routen und Layer-3-Gateway-Stitching transportieren Tenant-Präfixe zwischen Fabrics. Über Distanz machen 400G ZR und ZR+ Coherent-Optiken im Router-Port den Transponder überflüssig.

Kohärentes DCI

FAQ: Was ist eine IP-Fabric

Was ist eine IP-Fabric?
Eine IP-Fabric ist ein Rechenzentrumsnetz, das als geroutete Leaf-Spine-Topologie aufgebaut ist. Jeder Link zwischen einem Leaf und einem Spine ist ein Layer-3-Link mit eigener Routing-Adjazenz, sodass alle Pfade zwischen zwei beliebigen Leaves über Equal-Cost-Multipath gleichzeitig genutzt werden und kein Spanning Tree Links blockiert. Layer-2-Dienste laufen, wo ein Workload sie noch benötigt, als EVPN-VXLAN-Overlay auf der gerouteten Fabric. OcNOS-DC baut diese Fabric auf offenen Broadcom Trident und Tomahawk Switches auf.
Ist eine IP-Fabric dasselbe wie eine Clos-Fabric?
Nahezu. Clos beschreibt die Topologie: eine mehrstufige Anordnung, bei der jeder Leaf mit jedem Spine verbunden ist, erstmals von Charles Clos für die Telefonvermittlung beschrieben. IP-Fabric beschreibt, wie diese Topologie betrieben wird: auf jedem Link auf Layer 3 geroutet. Fast jede heute gebaute Clos-Fabric ist eine IP-Fabric, daher werden die Begriffe in der Praxis synonym verwendet.
Was ist der Unterschied zwischen einer IP-Fabric und einer Layer-2-Fabric?
Eine Layer-2-Fabric dehnt eine Broadcast-Domäne über die Switches aus und verlässt sich zur Schleifenvermeidung auf Spanning Tree oder ein proprietäres Multi-Chassis-Protokoll, wodurch Links ungenutzt bleiben und Ausfälle weitreichend wirken. Eine IP-Fabric routet auf jedem Link, sodass jeder Pfad weiterleitet, Ausfälle vom Routing-Protokoll eingegrenzt werden und die Fabric durch zusätzliche Spines skaliert. Wo ein Layer-2-Segment wirklich benötigt wird, stellt EVPN-VXLAN es als Overlay bereit, ohne das geroutete Underlay aufzugeben.
Welches Routing-Protokoll betreibt das Underlay einer IP-Fabric?
Meist eBGP gemäß RFC 7938, wobei jeder Switch ein eigenes autonomes System ist und Sessions über IPv6-Link-Local-Adressen mit BGP Unnumbered (RFC 5549) aufgebaut werden, sodass keine Adressierung pro Link nötig ist. Ein IGP wie OSPF oder IS-IS funktioniert ebenfalls und ist in kleineren Fabrics verbreitet. OcNOS unterstützt beides, einschließlich BGP Unnumbered mit EVPN-VXLAN seit OcNOS 6.0.
Brauche ich EVPN-VXLAN auf einer IP-Fabric?
Nur wenn Workloads Layer-2-Adjazenz oder Tenant-Trennung benötigen oder eine virtuelle Maschine ihre Adresse bei einem Umzug behalten muss. Eine Fabric, die nur zwischen Servern routet, kann beim Underlay bleiben. EVPN-VXLAN ergänzt das Overlay: BGP lernt MAC- und IP-Adressen, VXLAN transportiert die Frames über die geroutete Fabric, und IRB routet am Leaf zwischen Subnetzen. Die meisten Unternehmens- und mandantenfähigen Fabrics nutzen es, viele AI-Training-Fabrics nicht.
Wie viele Stufen hat eine IP-Fabric?
Zwei für einen einzelnen Pod: Leaves, die Server anbinden, und Spines, die Leaves verbinden. Wenn ein Pod die Ports nicht fassen kann, verbindet eine dritte Stufe aus Super-Spines mehrere Pods zu einem 3-stufigen Clos. Die Anzahl der Stufen ergibt sich aus Portanzahl und Überbuchung, nicht aus dem Protokoll; dasselbe BGP-Underlay und EVPN-Overlay laufen in jeder Größenordnung.
Ist eine AI-Fabric eine IP-Fabric?
Ja, im Aufbau. Eine AI-Back-End-Fabric ist eine Clos-IP-Fabric, die auf ein Verkehrsmuster abgestimmt ist: viele GPUs, die gleichzeitig große Flows senden. Sie ergänzt verlustfreien Transport (RoCEv2 mit PFC und ECN) und oft eine rail-optimierte Leaf-Ebene und läuft meist ohne EVPN-Overlay. Die hier beschriebene allgemeine IP-Fabric ist das, was die AI-Fabric spezialisiert.

Sie planen eine IP-Fabric? Beginnen Sie mit der Portanzahl.

Nennen Sie uns die Anzahl der Server, die akzeptable Überbuchung und ob Tenants Layer 2 benötigen. Ein IP Infusion Ingenieur dimensioniert die Leaf-, Spine- und Super-Spine-Stufen auf offener Broadcom Hardware mit OcNOS-DC.

Architektur-Review vereinbaren Qualifizierte Switches ansehen
Datenblatt und Solution Briefs

Tiefer einsteigen. Zum Mitnehmen.

Zwei kurze technische Downloads, die über diese Seite hinausgehen: das vollständige OcNOS-DC-Datenblatt und die EVPN-VXLAN-Referenz für Rechenzentren.

Datenblatt

OcNOS-DC-Datenblatt

Vollständige OcNOS-DC-Spezifikation: Funktionsumfang für EVPN-VXLAN und Ethernet for AI, Software-SKUs, unterstützte Hardware-Plattformen und der Solution Ordering Guide.

Datenblatt abrufen
Solution Brief

EVPN-VXLAN-Data-Center-Fabric

Carrier-Grade-Leaf-Spine-Data-Center-Fabric: symmetrisches IRB, Type-2/Type-5-Routen und verteiltes Anycast-Gateway.

Brief anfordern