Rail-optimized · Deux et trois niveaux · DCI cohérent

Topologies de fabric IA : conceptions rail-optimized jusqu'à 16K GPU

Adaptez la topologie au nombre de GPU : un pod leaf-spine rail-optimized à deux niveaux jusqu'à 4 096 GPU, un troisième niveau super-spine au-delà jusqu'à 16 384, et du DCI cohérent pour relier les sites. Choisissez le plus petit design non bloquant qui garde le lien de chaque GPU saturé pendant les collectives. Les trois s'exécutent sur OcNOS-DC au-dessus d'un fabric L3 RoCEv2 sans perte (PFC + ECN), dimensionné ici en nombres de ports concrets sur Broadcom Tomahawk 4 et Tomahawk 5.

Planifier une revue d'architecture Ouvrir la suite de conception AI fabric
jusqu'à 16 384GPU, un seul système de design
1:1plan GPU non bloquant
jusqu'à 800Gleaf et spine TH5
1 imageOcNOS-DC, à chaque palier

Le plus petit design non bloquant adapté à votre nombre de GPU

Une topologie de fabric IA a une seule mission : maintenir saturé le lien sortant de chaque GPU pendant une opération collective sans créer de valeurs aberrantes de tail-latency. La bonne topologie est la plus petite qui y parvient pour votre nombre de GPU, avec une voie de repli pour la taille suivante. Trois points de référence, avec des calculs de ports concrets sur le silicium Broadcom Tomahawk.

Une image, chaque palier d'échelle
256 GPUs
Pod non bloquant d'entrée de gamme
Une rangée de racks de leaves alignés sur les rails au-dessus d'un petit niveau spine. Leaf-spine à deux niveaux, 1:1 non bloquant.
8 leaves · 4 spines · TH5 · 2 × 400G par GPU
4 096 GPU
Pod à deux niveaux optimisé par rail
Des leaves alignés sur les rails avec un spine 1:1 non bloquant, le plus grand déploiement à deux niveaux sur Tomahawk 5. Les 800G de chaque GPU arrivent sur deux ports leaf 400G. L'AllReduce intra-rail reste sur le leaf ; le trafic inter-rail passe par le spine.
128 leaves · 64 spines · TH5 · 2 × 400G par GPU
16 384 GPU
Fabric rail-optimized à 3 niveaux
Au-delà de 4 096 GPU, un plan super-spine relie des pods à deux niveaux. DLB à chaque niveau ; GLB de bout en bout dans OcNOS 7.1. Dimensionné pour la classe d'entraînement à mille milliards de paramètres.
512 leaf · 256 spine · 128 super-spine · TH5 · 800G

Un leaf-spine à deux niveaux atteint 4 096 GPU à 800G par GPU ; un déploiement de 1 024 GPU compte 32 leaves et 16 spines, soit 48 switchs. Au-delà de 4 096 GPU, ajoutez le niveau super-spine. La même image OcNOS-DC fonctionne à chaque niveau, de sorte que la fabric évolue avec le cluster au lieu d'être reconçue à chaque étape.

Vous dimensionnez votre propre cluster ? La Suite de conception de fabric IA fournit un premier dimensionnement rapide : il dimensionne un pod leaf-spine non bloquant à deux niveaux et signale lorsque vous franchissez l'échelle à trois niveaux. Les reference designs ci-dessous utilisent le même calcul leaf/spine non bloquant et ajoutent un niveau super-spine au-delà de 4 096 GPU, de sorte que les nombres de switchs concordent avec l'outil. Ici, rail-optimized désigne la discipline de câblage d'un serveur GPU à 8 NIC (un rail par leaf, de sorte que l'AllReduce intra-rail reste sur le leaf) superposée à cette fabric non bloquante : elle modifie la localité du trafic, pas le nombre de switchs. Utilisez l'outil pour un ordre de grandeur ; utilisez ces conceptions pour le déploiement.

Pod à deux niveaux, fabric à trois niveaux et DCI cohérent

Trois topologies de référence couvrent les fabrics IA mono-pod, multi-pod et multi-site, chacune dimensionnée sur du matériel Broadcom figurant dans la HCL.

Design de référence 1

Pod unique optimisé par rail

Sur chaque serveur GPU, les 8 NIC arrivent sur 8 rail leaves dédiés, de sorte que l'AllReduce sur le même rail reste sur un seul leaf et ne traverse jamais le spine. Un spine non bloquant transporte les flux inter-rails. L'unité évolutive single-pod, jusqu'à 4 096 GPU sur Tomahawk 5.

Réseau rail-optimized
Architecture de référence 2

Fabric rail-optimized à trois niveaux

Les étages leaf, spine et super-spine portent la fabric au-delà de 4 096 GPU, jusqu'à 16 384 dans le reference design. Non bloquant au sein de chaque pod, le plan super-spine fixant le ratio inter-pod. DLB à chaque saut, GLB de bout en bout dans OcNOS 7.1.

Équilibrage GLB à l'échelle du fabric
Architecture de référence 3

DCI cohérent multi-datacenters

Lorsqu'un entraînement s'étend sur plusieurs salles machines, étendez le fabric avec des optiques cohérentes 400G ZR / ZR+ sur le spine. DCI sans transpondeur entre sites, avec la fabric interne au site inchangée.

DCI cohérent

Pod unique optimisé par rail

Chaque serveur GPU dispose de 8 NIC, une par rail (un canal collectif xCCL dédié (NCCL / RCCL / oneCCL)). Chaque rail correspond à son propre leaf dédié, de sorte que les 8 NIC de chaque serveur arrivent sur un leaf différent. Le trafic AllReduce sur le rail N reste au sein du leaf N, si bien qu'il n'y a aucune pression est-ouest sur le spine pour le motif collectif dominant.

Topologie de fabric IA rail-optimized : quatre spines 800G Tomahawk 5 au-dessus de huit leaves de rail, avec quatre serveurs GPU dont chacune des huit NIC est reliée à un leaf de rail différent, de sorte que le trafic AllReduce intra-rail reste sur un seul leaf.
Pod unique rail-optimized : les 8 NIC de chaque serveur GPU sont réparties une par rail sur 8 leaves dédiés, de sorte que le trafic AllReduce d'un même rail reste sur le leaf et que seul le trafic inter-rails atteint le spine.

Composants OcNOS : Underlay L3 BGP-unnumbered, RoCEv2 sans perte (PFC + ECN) sur chaque leaf, DLB à l'étage spine. Bâti sur du matériel référencé HCL : l'unité extensible 800G utilise des leaves et spines TH5 64x800G (Edgecore AIS800-64D ou UfiSpace S9321-64E) ; le pod d'entrée 256-GPU utilise l'Edgecore AS9736-64D (TH4, 64x400G).

Fabric rail-optimized à trois niveaux : au-delà de 4 096 GPU

Un pod rail-optimized à deux niveaux sur Tomahawk 5 plafonne à 4 096 GPU à 800G par GPU, lorsque les spines n'ont plus de ports. Au-delà, la même conception rail-optimized ajoute un troisième niveau : leaf, spine, super-spine. Deux GPU quelconques sont séparés d'au plus quatre sauts de switch ; les pairs sur le même leaf et dans le même pod sont plus proches.

La difficulté sur un Clos consiste à répartir les flux uniformément pour qu'aucun lien ne devienne un point chaud. Les approches vont de l'ECMP par flux à l'équilibrage de charge dynamique, jusqu'au packet spray par paquet, le modèle qu'utilise Ultra Ethernet avec le réordonnancement géré par la NIC. Une famille distincte, les fabrics ordonnancés à cellules comme Broadcom DDC, segmente le trafic en cellules et l'ordonnance à l'intérieur du fabric. OcNOS équilibre le plan GPU avec DLB et ajoute un GLB à l'échelle du fabric dans OcNOS 7.1.

Le schéma est simplifié : il représente un nombre réduit d'éléments par niveau. Le déploiement de 16 384 GPU compte 512 leaves / 256 spines / 128 super-spines sur TH5 800G.

Topologie de fabric IA rail-optimized à trois niveaux : un niveau super-spine au-dessus d'un niveau spine, lui-même au-dessus de switchs leaf desservant des pods GPU, dimensionnée pour 16 384 GPU sur Tomahawk 5 800G avec DLB à chaque saut.
Fabric rail-optimized à trois niveaux : les niveaux leaf, spine et super-spine font évoluer un plan GPU non bloquant jusqu'à des milliers de GPU, avec DLB à chaque saut et GLB à l'échelle de la fabric dans OcNOS 7.1.

Composants OcNOS : Underlay L3 eBGP-unnumbered, RoCEv2 sans perte (PFC + ECN), DLB à chaque étage, GLB de bout en bout dans OcNOS 7.1, et télémétrie en streaming gNMI vers votre pile d'observabilité. Bâti de bout en bout sur des châssis TH5 64x800G référencés HCL.

Le taux de souscription est un réglage, pas une règle figée. Ces nombres rendent chaque pod de 1 024 GPU non bloquant en 1:1 et utilisent un super-spine optimisé en coût à ~2:1 pour le trafic inter-pod, l'approche rail-optimized sur laquelle reposent les fabrics Ethernet hyperscale (les conceptions à grande échelle publiées sursouscrivent bien davantage le niveau supérieur, car le trafic collectif reste local au pod). Vous voulez plutôt une marge any-to-any maximale ? Un déploiement entièrement non bloquant 1:1 compte 512 / 512 / 256 à 16 384 GPU ; seuls les nombres de spines et de super-spines changent. Modélisez l'un ou l'autre dans le Suite de conception de fabric IA.

Fabric IA multi-datacenters : DCI cohérent

Lorsqu'un même entraînement s'étend sur plus d'une salle de données, ce qui est de plus en plus courant pour les modèles à mille milliards de paramètres, la fabric s'étend à travers le WAN. OcNOS-DC prend en charge les optiques cohérentes 400G ZR / ZR+ directement sur le spine pour un DCI sans transpondeur entre sites. La fabric à l'intérieur de chaque site reste inchangée.

Topologie de fabric IA multi-data center : deux sites leaf-spine reliés par des optiques cohérentes 400G ZR et ZR+ sur le spine, qui étendent la fabric à travers le WAN, sans transpondeur externe.
DCI cohérent multi-datacenters : deux datacenters IA reliés par des optiques 400G ZR et ZR+ sur le spine, étendant le fabric entre les sites sans transpondeurs externes.

Composants OcNOS : Optiques cohérentes enfichables 400G ZR/ZR+ sur un port spine ou border-leaf compatible DWDM, avec télémétrie gNMI entre les sites. Aucun transpondeur externe requis. Portée : 400ZR jusqu'à environ 120 km en amplifié ; OpenZR+ va plus loin grâce à l'oFEC.

Règles de conception empiriques

Quelques règles maintiennent un fabric IA du bon côté de la courbe performance/coût, quelle que soit l'architecture de référence retenue.

  • Adaptez la topologie au nombre de GPU. Pods les plus petits (en deçà du radix de NIC d'un seul leaf) : le rail-only suffit. Échelle d'un seul pod, jusqu'à 4 096 GPU sur Tomahawk 5 : leaf-spine optimisé pour le rail. Au-delà : ajoutez un niveau super-spine à la même conception rail-optimized, avec un pod non bloquant et un ratio inter-pod ajusté à la charge de travail.
  • Toujours une souscription 1:1 sur le plan IA. Les baies de stockage et de CPU peuvent fonctionner avec des ratios de surabonnement plus élevés. Le plan GPU ne le devrait pas.
  • Dimensionnez le nombre de rails à partir de xCCL, pas du câblage. 8 rails constitue le standard de facto actuel pour les serveurs GPU à 8 NIC. Ne regroupez pas les rails sur un nombre réduit de leaves.
  • Choisissez le silicon selon la puissance et la densité, pas selon le badge. Le TH4 (25,6T) et le TH5 (51,2T) sont les bêtes de somme ; le choix entre les deux relève de la puissance en rack et du coût des câbles breakout.
  • Validez par rapport à la HCL. Chaque référence présentée ici repose sur du matériel listé dans le Liste de compatibilité matérielle OcNOS; partez de là pour un support de premier ordre.
Fabric RoCEv2 sans perte DLB : équilibrage de charge dynamique GLB : à l'échelle de la fabric (7.1) Ultra Ethernet (UEC) EVPN-VXLAN Sous-couche BGP Matrice de fonctionnalités OcNOS Matériel validé (HCL) OcNOS-DC Solution AI Fabric

FAQ sur la topologie du fabric IA

Qu'est-ce qu'une topologie optimisée par rail, et en quoi diffère-t-elle du rail-only ?
Le câblage optimisé par rail connecte chacune des 8 NIC d'un serveur GPU à sa propre leaf de rail dédiée, de sorte que le trafic AllReduce dominant d'un même rail reste sur une seule leaf et ne traverse jamais le spine. Rail uniquement correspond au cas des petits clusters : une seule rangée de baies de leaves alignés par rail, sans étage spine, où le trafic inter-rails repose sur le domaine scale-up des GPU. L'optimisation par rail ajoute un spine non bloquant pour que les flux inter-rails disposent d'un chemin réseau.
Quand une fabric IA a-t-elle besoin d'un troisième niveau ?
Uniquement au-delà du plafond à deux niveaux. Sur les commutateurs Tomahawk 5, un leaf-spine à 2 niveaux atteint 4 096 GPU à 800G par GPU, en 1:1 non bloquant : chaque commutateur fonctionne en 128×400G et chaque GPU arrive sur deux ports leaf 400G, soit 128 leaves et 64 spines. L'ajout d'un niveau super-spine à la même conception rail-optimized porte ce chiffre jusqu'à 16 384 GPU dans les architectures de référence ci-dessus. Comme la majeure partie du trafic collectif reste locale au rail, le plan super-spine est dimensionné selon le ratio inter-pod dont vous avez réellement besoin.
Dois-je utiliser Tomahawk 4 ou Tomahawk 5 ?
Les deux fonctionnent sous OcNOS-DC. Tomahawk 4 (25.6 Tbps, 64×400G) est le choix optimisé en coût pour les pods d'entrée et les NIC GPU 400G. Tomahawk 5 (51.2 Tbps, 64×800G) est la référence pour les serveurs GPU 800G et les fabrics de plus grande taille. Tomahawk 4 n'a pas de 800G natif : adaptez donc le commutateur au débit de vos NIC.
Ai-je besoin d'InfiniBand, ou Ethernet suffit-il ?
Ethernet est désormais un transport de fabric IA de premier plan. RoCEv2 avec PFC et ECN fournit du RDMA sans perte dès aujourd'hui. Ultra Ethernet (UEC) supprime la dépendance à PFC à l'échelle du réseau grâce au packet spray aux extrémités, à la retransmission sélective et à la reprise au niveau liaison sur des NIC compatibles UEC. OcNOS-DC exploite aujourd'hui le fabric RoCEv2, et IP Infusion est membre de l'Ultra Ethernet Consortium.
Où s'arrête le scale-up et où commence le scale-out ?
À l'intérieur d'un serveur GPU et de son domaine NVLink (par exemple GB200 NVL72), les GPU communiquent sur le fabric scale-up à des débits de l'ordre du térabit. Le réseau rail, leaf-spine et Clos constitue le fabric scale-out entre serveurs et pods. Les bibliothèques collectives utilisent d'abord le domaine scale-up pour amener les données sur le rail de destination, si bien que le réseau achemine surtout le trafic d'un même rail et inter-pods, ce qui explique pourquoi le 1:1 non bloquant importe le plus sur le plan GPU.

Approfondissez. Emportez-le avec vous.

La fiche technique du produit et des téléchargements techniques et concis qui vont plus loin que cette page.

Fiche technique

Datasheet OcNOS-DC

Spécification complète OcNOS-DC : l'ensemble des fonctionnalités EVPN-VXLAN et Ethernet for AI, les SKU logiciels, les plateformes matérielles prises en charge et le guide de commande de la solution.

Obtenir la fiche technique
Solution brief

OcNOS 800G Fabric IA sans perte

Fabric RoCEv2 non bloquante sur des spines Broadcom Tomahawk 4/5 : niveaux de SKU, plateformes validées et architecture de déploiement.

Obtenir le brief
Solution brief

Fabric DC EVPN-VXLAN

Fabric de data center leaf-spine de niveau opérateur : IRB symétrique, routes Type-2/Type-5 et passerelle anycast distribuée.

Obtenir le brief

Vous concevez votre fabric IA ? Nous calculerons le nombre de ports avec vous.

Indiquez-nous la charge de travail et l'échelle GPU, et un ingénieur IP Infusion dimensionnera avec vous les étages leaf, spine et super-spine, ou commencez par une première ébauche de topologie dans l'AI Fabric Design Suite.

Planifier une revue d'architecture Ouvrir la suite de conception AI fabric

Concevez tout le fabric IA avec OcNOS

Du dossier économique au calcul du nombre de ports, reprenez où vous en êtes dans la construction.

Solution Fabric IA ouverte La fabric IA 800G complète : commutateurs ouverts, OcNOS-DC, et support sous un seul contrat.
Vous êtes ici Topologies AI Fabric Fabrics rail-optimized à deux et trois niveaux, et DCI cohérent, dimensionnés en nombres de ports réels.
Dimensionner et construire Suite de conception de fabric IA Dimensionnez un fabric GPU : nombres de leaf, spine et super-spine avec un récapitulatif des composants et de la consommation.
Nouveau dans les AI fabrics ? Commencez ici Qu'est-ce qu'un AI fabric ? Qu'est-ce qu'un GPU fabric ? Qu'est-ce que l'Ethernet sans perte ? Qu'est-ce que RDMA ? Commutateurs réseau pour l'IA
La technologie à l'intérieur RoCEv2 sans perte Réseau rail-optimized DLB GLB (7.1) Ultra Ethernet Tomahawk 6 à 1.6T DCQCN blocage PFC InfiniBand contre Ethernet RoCE vs InfiniBand Architecture de fabric IA DCI cohérent