Définition réseau · Clos · EVPN-VXLAN

Qu'est-ce qu'une fabric IP ?

Une fabric IP est un réseau de data center construit sous la forme d'une topologie Clos leaf-spine routée : chaque lien entre commutateurs est un lien de couche 3, tous les chemins entre deux leaves transportent du trafic simultanément, et il n'y a pas de spanning tree. L'underlay est un protocole de routage, généralement eBGP selon la RFC 7938. Lorsqu'une charge de travail a encore besoin de couche 2, un overlay EVPN-VXLAN la fournit au-dessus de la fabric routée. OcNOS-DC construit cette fabric sur des commutateurs ouverts Broadcom Trident et Tomahawk.

Couche 3sur chaque lien de la fabric
ECMPtous les chemins acheminent en même temps
RFC 7938conception d'underlay eBGP
EVPN-VXLANoverlay là où le L2 est nécessaire

La fabric qui a remplacé le spanning tree

Les réseaux de data center des années 2000 étaient des arbres de couche 2. Un seul domaine de diffusion s'étendait sur les commutateurs d'accès, d'agrégation et de cœur, et le spanning tree évitait les boucles en bloquant chaque lien redondant. La moitié de la fabric restait inactive, un changement de topologie touchait chaque commutateur, et le plus grand domaine de panne était le réseau entier. La fabric IP supprime ces trois problèmes en faisant de chaque lien un lien routé.

  • Chaque chemin achemine. Avec une adjacence de couche 3 sur chaque lien leaf-spine, le multichemin à coût égal répartit le trafic sur tous les spines à la fois. Ajouter un spine augmente la capacité de façon linéaire.
  • Les pannes restent circonscrites. Un lien ou un spine en panne est retiré par le protocole de routage et les leaves reconvergent en le contournant. Pas de domaine de diffusion, pas de recalcul du spanning tree, pas de vidage à l'échelle de la fabric.
  • Elle s'étend horizontalement. On ajoute des leaves pour les ports, des spines pour la bande passante, et un troisième niveau de super-spines lorsqu'un pod est plein. Le protocole et la conception ne changent pas avec la taille.

Topologie, underlay, overlay

Une fabric IP repose sur trois décisions superposées. La topologie définit comment les commutateurs se connectent, l'underlay comment ils routent entre eux, et l'overlay, s'il existe, comment le trafic des tenants circule.

Topologie

Clos leaf-spine

Les serveurs se connectent aux leaves; chaque leaf se connecte à chaque spine; les spines ne se connectent qu'aux leaves. Deux serveurs quelconques sont séparés par le même nombre de sauts. Un second pod ajoute un niveau super-spine au-dessus des spines.

Underlay

eBGP, un AS par commutateur

La RFC 7938 place eBGP sur chaque lien, chaque leaf constituant son propre système autonome privé et les spines en partageant un. BGP unnumbered (RFC 8950) établit les sessions sur des adresses IPv6 link-local, si bien qu'aucun lien n'a besoin d'un sous-réseau IPv4. OcNOS prend en charge BGP unnumbered avec EVPN-VXLAN depuis OcNOS 6.0.

Overlay

EVPN-VXLAN lorsque le L2 est nécessaire

BGP EVPN apprend l'accessibilité MAC et IP des terminaux, VXLAN transporte les trames à travers la fabric routée et IRB route entre sous-réseaux sur la leaf. Les tenants obtiennent un segment de couche 2 sans que la fabric renonce à son underlay routé.

Quand l'underlay suffit, et quand il ne suffit pas

Toutes les fabrics IP n'ont pas besoin d'EVPN. La question est de savoir si quelque chose sur la fabric a besoin d'un segment de couche 2, d'une isolation des tenants ou d'une adresse qui survit à un déplacement.

BesoinUnderlay seulAvec overlay EVPN-VXLAN
Routage de serveur à serveurOui, natifOui
Couche 2 entre baiesNonOui, par VNI
Mobilité des VM ou des conteneursNon, l'adresse est liée à la leafOui, MAC et IP annoncées dans BGP
Séparation des tenantsVRF uniquementVRF plus VNI L2 et L3 par tenant, fuite de routes inter-VRF
Passerelle de premier sautSur la leafPasserelle anycast distribuée sur chaque leaf (IRB)
Serveurs à double attachementRouté, par lienMultihoming EVPN avec un segment Ethernet, tout actif
Usage typeBack-end d'entraînement IA, stockage, HPCEntreprise, cloud, multi-tenant, forte densité de VM
  • Fonctionnalités d'overlay d'OcNOS-DC dans la matrice de fonctionnalités : EVPN de couche 2 pour VXLAN (RFC 7348, 7432, 8365), multihoming EVPN, IRB (RFC 9135) depuis 4.1, routes de préfixe Type-5 (RFC 9136) depuis 4.1, fuite de routes inter-VRF depuis 4.2, ECMP d'overlay depuis 5.0, relais DHCP sur IRB depuis 5.0, adresses multiples de passerelle anycast depuis 6.3.1, BFD sur IRB depuis 6.6.1 et raccordement de passerelles de couche 3 depuis 7.0.
  • Transport sans perte sur la même fabric : PFC et ECN sur VXLAN depuis OcNOS 7.0, de sorte qu'une fabric overlay peut aussi transporter du trafic RoCEv2 de stockage ou d'inférence.

Une conception de fabric, trois charges de travail

Le même Clos routé sert des trafics très différents. Ce qui change, c'est le choix de l'overlay et le réglage du transport, pas la fabric.

Entreprise et cloud

Fabric multi-tenant

Overlay EVPN-VXLAN, IRB avec une passerelle anycast distribuée, VRF par tenant et multihoming EVPN pour les serveurs à double attachement.

Entraînement IA

Fabric back-end IA

Généralement sans overlay. Leaves optimisées par rail, un spine Clos et RoCEv2 sans perte avec PFC et ECN, car le temps d'exécution des tâches est fixé par le flux le plus lent.

Entre sites

Interconnexion de data centers

Les routes Type-5 et le raccordement de passerelles de couche 3 transportent les préfixes des tenants entre fabrics. Sur la distance, les optiques cohérentes 400G ZR/ZR+ dans le port du routeur suppriment les châssis de transpondeurs, de muxpondeurs et de régénérateurs (régénérateurs dans la portée 400G ZR/ZR+).

FAQ : qu'est-ce qu'une fabric IP

Qu'est-ce qu'une fabric IP ?
Une fabric IP est un réseau de data center construit sous la forme d'une topologie leaf-spine routée. Chaque lien entre une leaf et un spine est un lien de couche 3 avec sa propre adjacence de routage, de sorte que tous les chemins entre deux leaves sont utilisés simultanément grâce au multichemin à coût égal, sans spanning tree pour bloquer des liens. Les services de couche 2, lorsqu'une charge de travail en a encore besoin, s'exécutent sous forme d'overlay EVPN-VXLAN au-dessus de la fabric routée. OcNOS-DC construit cette fabric sur des commutateurs ouverts Broadcom Trident et Tomahawk.
Une fabric IP est-elle la même chose qu'une fabric Clos ?
Presque. Clos décrit la topologie : un agencement à plusieurs étages dans lequel chaque leaf se connecte à chaque spine, décrit pour la première fois par Charles Clos pour la commutation téléphonique. La fabric IP décrit la façon d'exploiter cette topologie : routée en couche 3 sur chaque lien. Presque toutes les fabrics Clos construites aujourd'hui sont des fabrics IP, si bien que les deux termes sont employés indifféremment en pratique.
Quelle est la différence entre une fabric IP et une fabric de couche 2 ?
Une fabric de couche 2 étend un seul domaine de diffusion sur les commutateurs et s'appuie sur le spanning tree ou sur un protocole multi-châssis propriétaire pour éviter les boucles, ce qui laisse des liens inactifs et élargit l'impact des pannes. Une fabric IP route sur chaque lien : chaque chemin achemine, les pannes sont circonscrites par le protocole de routage et la fabric évolue en ajoutant des spines. Lorsqu'un segment de couche 2 est réellement nécessaire, EVPN-VXLAN le fournit sous forme d'overlay sans renoncer à l'underlay routé.
Quel protocole de routage exécute l'underlay d'une fabric IP ?
Généralement eBGP, selon la RFC 7938, chaque leaf formant son propre système autonome privé, les spines en partageant un, et les sessions étant établies sur des adresses IPv6 link-local grâce à BGP unnumbered (RFC 8950), si bien qu'aucun adressage par lien n'est nécessaire. Un IGP comme OSPF ou IS-IS fonctionne aussi et reste courant dans les fabrics plus petites. OcNOS prend en charge les deux, y compris BGP unnumbered avec EVPN-VXLAN depuis OcNOS 6.0.
Ai-je besoin d'EVPN-VXLAN sur une fabric IP ?
Seulement si les charges de travail ont besoin d'une adjacence de couche 2, d'une séparation des tenants ou qu'une machine virtuelle conserve son adresse lorsqu'elle se déplace. Une fabric qui se contente de router entre serveurs peut s'arrêter à l'underlay. EVPN-VXLAN ajoute l'overlay : BGP apprend les adresses MAC et IP, VXLAN transporte les trames à travers la fabric routée et IRB route entre sous-réseaux sur la leaf. La plupart des fabrics d'entreprise et multi-tenant l'utilisent ; beaucoup de fabrics d'entraînement IA ne l'utilisent pas.
Combien de niveaux comporte une fabric IP ?
Deux niveaux pour un pod unique : des leaves qui connectent les serveurs et des spines qui connectent les leaves, formant un Clos à trois étages. Lorsqu'un pod ne peut pas accueillir tous les ports, un troisième niveau de super-spines relie plusieurs pods en un Clos à cinq étages. Le nombre de niveaux dépend du nombre de ports et du taux de surabonnement, pas du protocole ; le même underlay BGP et le même overlay EVPN fonctionnent à toutes les échelles.
Une fabric IA est-elle une fabric IP ?
Oui, dans sa construction. Une fabric back-end IA est une fabric IP Clos réglée pour un schéma de trafic : de nombreux GPU envoyant de gros flux simultanément. Elle ajoute un transport sans perte (RoCEv2 avec PFC et ECN) et souvent une couche de leaves optimisée par rail, et elle fonctionne généralement sans overlay EVPN. La fabric IP générale décrite ici est ce que la fabric IA spécialise.

Approfondissez. Emportez-le avec vous.

Deux téléchargements techniques et concis qui vont plus loin que cette page : la fiche technique complète d'OcNOS-DC et la référence data center EVPN-VXLAN.

Fiche technique

Datasheet OcNOS-DC

Spécification complète OcNOS-DC : l'ensemble des fonctionnalités EVPN-VXLAN et Ethernet for AI, les SKU logiciels, les plateformes matérielles prises en charge et le guide de commande de la solution.

Obtenir la fiche technique
Solution brief

Fabric DC EVPN-VXLAN

Fabric de centre de données leaf-spine sur EVPN-VXLAN : une VRF et des VNI par locataire, multihoming EVPN, BGP unnumbered et filtrage par route target.

Obtenir le brief

Vous concevez une fabric IP ? Partez du nombre de ports.

Indiquez-nous le nombre de serveurs, le taux de surabonnement acceptable et si les tenants ont besoin de couche 2. Un ingénieur IP Infusion dimensionnera les niveaux leaf, spine et super-spine sur du matériel Broadcom ouvert exécutant OcNOS-DC.