ECMP tenant compte de la congestion · Flowlet · RoCEv2

Dynamic Load Balancing : sélection de chemin tenant compte de la congestion pour les fabrics IA

Sur un fabric IA, utilisez le Dynamic Load Balancing plutôt que l'ECMP à hachage statique. DLB réévalue le chemin à chaque flowlet, un fragment de sous-flux délimité par un intervalle entre paquets, à l'aide d'une télémétrie en direct de la profondeur des files de sortie et de l'utilisation des ports au niveau de l'ASIC, de sorte que les collectifs GPU cessent d'entrer en collision sur un unique lien montant. Il s'exécute dans l'ASIC de commutation sur Broadcom Tomahawk 4 et 5, sans aucune modification des NIC ni des bibliothèques collectives.

Demander une démo technique Ouvrir la suite de conception AI fabric
Par flowletsélection de chemin tenant compte de la congestion
TH4 + TH5Broadcom Tomahawk 25.6T / 51.2T
0 modification de NICs'exécute dans l'ASIC de commutation
PLUSNiveau de licence OcNOS-DC

Équilibrage de charge dynamique sur un fabric leaf-spine

Une tranche à quatre spines et deux leaves acheminant du trafic AllReduce GPU. DLB mesure en temps réel la profondeur locale des files de sortie. Lorsque Spine-3 sature, le leaf redistribue le flowlet suivant sur un spine moins chargé, gardant les quatre liens montants équilibrés.

Dynamic Load Balancing sur une fabric IA leaf-spine Une fabric IA à quatre spines et deux leaves. Les serveurs GPU connectés aux leaves envoient des flux AllReduce. Trois chemins spine transportent des flowlets équilibrés. Le quatrième spine est congestionné, et le Dynamic Load Balancing réaffecte le flowlet suivant vers un spine moins chargé. Le bandeau inférieur indique les métriques DLB : profondeur de file, utilisation des ports, réaffectation des flowlets. Spine-3 congestionné · flowlet suivant réaffecté vers Spine-2 Spine-1 file 18% Spine-2 file 22% Spine-3 file 92% Spine-4 file 25% Leaf-1 DLB · flowlet Leaf-2 DLB · flowlet GPU-0 GPU-1 GPU-2 GPU-3 DLB · RETOUR SUR LA PROFONDEUR DE FILE · RÉAFFECTATION DES FLOWLETS · ECMP SENSIBLE À LA CONGESTION

ECMP statique et DLB, axe par axe

L'ECMP standard hache le 5-tuple au début du flux et fige le flux pour toute sa durée de vie. Sur du trafic web nord-sud, des millions de flux éphémères lissent l'utilisation entre les chemins. Sur un fabric IA, une poignée de flux éléphants GPU, chacun monopolisant un lien montant 400G ou 800G entier pendant des secondes, provoquent des collisions de hachage : certains liens montants saturent tandis que des chemins parallèles restent inactifs. DLB réévalue le chemin à chaque flowlet à l'aide de la télémétrie en direct de l'ASIC.

Critère ECMP statiquehacher et figer DLBtenant compte de la congestion, par flowlet
Décision de cheminHache le 5-tuple une seule fois au début du flux et fige le flux pour toute sa durée de vie.Réévalue le chemin à chaque limite de flowlet et déplace le trafic vers un lien montant moins congestionné.
GranularitéFlux entier. Un unique choix de hachage régit des secondes de trafic de flux éléphant.Flowlet : un fragment de sous-flux délimité par un petit intervalle entre paquets, redistribuable sans risque de réordonnancement.
Signal de congestionAucun. Le hachage est aveugle à l'état du lien en temps réel.Télémétrie en direct de la profondeur des files de sortie et de l'utilisation des ports au niveau de l'ASIC.
Face aux flux éléphants GPUCollisions de hachage : deux éléphants peuvent se retrouver sur un même lien montant tandis qu'un autre reste inactif.Les membres saturés sortent de l'ensemble candidat, de sorte que les liaisons montantes restent équilibrées.
Risque de réordonnancementAucun ; le flux est figé, mais au prix de points chauds et de valeurs extrêmes de latence de queue.Aucun en pratique ; l'intervalle entre paquets fait que RoCEv2 et TCP voient une livraison correcte et ordonnée.
NIC / bibliothèque collectiveAucune modification ; comportement standard.Aucune modification. S'exécute dans l'ASIC de commutation, de sorte que les NIC RoCEv2 et les piles xCCL restent intactes.
MatérielN'importe quel commutateur compatible ECMP.Broadcom Tomahawk 4 (25.6T) et Tomahawk 5 (51.2T) en configurations 64x400G et 64x800G.

L'implémentation DLB d'OcNOS

DLB n'est pas un ajout au plan de contrôle. Il s'exécute dans le pipeline de transmission Broadcom, notant chaque next-hop ECMP à partir de signaux de congestion en direct et redistribuant les flowlets en matériel.

Détection de flowlet

Temporisateur d'intervalle de flowlet

Un minuteur d'inactivité de flowlet natif ASIC découpe les longs flux éléphants en fragments que l'on peut répartir entre les chemins sans réordonnancement TCP ni RoCEv2.

Qualité de chemin

Retour en temps réel sur la profondeur des files

Le DLB exploite les signaux d'occupation des files par port de sortie et d'utilisation des liens issus du pipeline Tomahawk pour évaluer chaque next-hop ECMP en temps réel.

Réaffectation

Sélection du next-hop tenant compte de la congestion

À chaque frontière de flowlet, le membre de meilleure qualité est sélectionné, de sorte qu'un spine saturé sort de l'ensemble candidat.

Matériel

TH4 / TH5 natif

Validé sur les plateformes spine Broadcom Tomahawk 4 (25.6T) et Tomahawk 5 (51.2T), en configurations de ports 64x400G et 64x800G.

Où se situe DLB dans le fabric

DLB est la couche à saut unique, sensible à la congestion, d'un transport Ethernet ouvert plus large. Il repose sur RoCEv2 sans perte, et GLB à l'échelle de la fabric, à venir dans OcNOS 7.1, l'étend à l'évaluation de bout en bout.

Transport sans perte en dessous

DLB redistribue les flowlets par-dessus un Fabric RoCEv2 sans perte (PFC, ECN, DCQCN).

Fabric RoCEv2 sans perte

Notation à l'échelle du fabric ensuite

Là où DLB note le next-hop local, GLB (OcNOS 7.1) étend la décision à la qualité de chemin de bout en bout sur l'ensemble du fabric leaf-spine.

GLB, équilibrage de charge à l'échelle du fabric

La même idée dans la NIC

Ultra Ethernet porte la répartition des chemins dans la NIC : packet spray et RDMA multichemin répartissent un flux sur de nombreux chemins depuis des NIC compatibles UEC.

Ultra Ethernet (UEC)

Ce que DLB apporte dans les fabrics IA en production

En tenant les flowlets à l'écart des liaisons montantes congestionnées que l'ECMP statique surcharge, DLB transforme un fabric leaf-spine symétrique en un fabric qui reste équilibré sous le trafic collectif des GPU.

  • Meilleure utilisation. Le rééquilibrage par flowlet tient le trafic à l'écart des liaisons montantes congestionnées que l'ECMP statique surcharge, si bien qu'un fabric bien exploité peut viser une utilisation supérieure à 90 pour cent sur le même matériel, sans acheter de liaisons montantes supplémentaires.
  • Latence de queue réduite. Le temps de complétion des collectives se resserre car aucun lien unique ne sature pendant que d'autres restent inactifs.
  • Aucune modification de NIC. DLB réside dans l'ASIC du commutateur. Les cartes réseau RoCEv2 existantes et les piles collectives xCCL (NCCL, RCCL, oneCCL) bénéficient d'une livraison correcte dans l'ordre, sans modification de code.
  • Niveau PLUS. DLB est inclus dans les SKU OcNOS-DC PLUS, avec la même image et le même contrat de support que le reste d'OcNOS-DC.

L'équilibrage de charge dynamique est un prérequis pour un fabric IA Ethernet

L'ECMP statique a été conçu pour le trafic web nord-sud. Dès qu'un fabric transporte des collectifs GPU, l'équilibrage de charge dynamique fait la différence entre des liaisons montantes équilibrées et des tâches d'entraînement bloquées, et OcNOS l'apporte dès aujourd'hui sur du matériel ouvert.

L'ECMP seul ne suffit pas

Une poignée de flux éléphants met en échec le hachage statique. Les collisions de hachage laissent certaines liaisons montantes saturées tandis que des chemins parallèles restent inutilisés.

DLB comble l'écart de routage

La sélection de chemin par flowlet, sensible à la congestion, maintient un fabric Ethernet équilibré sous le trafic collectif, l'un des axes où InfiniBand avait l'avantage.

OcNOS est l'élément habilitant

DLB aujourd'hui, GLB dans OcNOS 7.1. Un seul NOS sur du matériel ouvert validé de fournisseurs comme Edgecore et UfiSpace, sans modification de la NIC ni de la bibliothèque d'opérations collectives.

Le Dynamic Load Balancing, en clair

Qu'est-ce qu'un flowlet et pourquoi le DLB l'utilise-t-il ?
Un flowlet est un fragment de sous-flux délimité par un petit intervalle inter-paquets. DLB réévalue le chemin à chaque limite de flowlet au lieu de figer un flux entier, de sorte que le trafic bascule vers une liaison montante moins congestionnée sans provoquer de réordonnancement RoCEv2 ou TCP.
En quoi le DLB diffère-t-il de l'ECMP statique ?
L'ECMP statique hache le 5-tuple au début du flux et fixe le flux pour toute sa durée de vie, si bien que deux flux éléphants GPU peuvent entrer en collision sur une même liaison montante pendant qu'une autre reste inutilisée. DLB évalue chaque saut suivant en temps réel à partir de la profondeur de file d'attente et de l'utilisation des ports en direct, et réaffecte les flowlets sur le meilleur chemin.
DLB nécessite-t-il de nouvelles NIC ou des modifications de ma bibliothèque collective ?
Non. DLB s'exécute dans l'ASIC du commutateur, de sorte que les NIC RoCEv2 existants et les piles collectives xCCL (NCCL, RCCL, oneCCL) bénéficient d'une livraison correcte et ordonnée, sans modification de code.
Quel matériel prend en charge OcNOS DLB ?
DLB est pris en charge sur les plateformes Broadcom Tomahawk 4 (25.6T) et Tomahawk 5 (51.2T) en configurations 64x400G et 64x800G, ainsi que sur les plateformes Trident 3 (X4, X5, X7) et Trident 4. Il est inclus dans les SKU OcNOS-DC PLUS, pas dans IPBASE.

Approfondissez. Emportez-le avec vous.

La fiche technique du produit et des téléchargements techniques et concis qui vont plus loin que cette page.

Fiche technique

Datasheet OcNOS-DC

Spécification complète OcNOS-DC : l'ensemble des fonctionnalités EVPN-VXLAN et Ethernet for AI, les SKU logiciels, les plateformes matérielles prises en charge et le guide de commande de la solution.

Obtenir la fiche technique
Solution brief

OcNOS 800G Fabric IA sans perte

Fabric RoCEv2 non bloquante sur des spines Broadcom Tomahawk 4/5 : niveaux de SKU, plateformes validées et architecture de déploiement.

Obtenir le brief
Solution brief

Fabric DC EVPN-VXLAN

Fabric de data center leaf-spine de niveau opérateur : IRB symétrique, routes Type-2/Type-5 et passerelle anycast distribuée.

Obtenir le brief

Vous réglez DLB pour votre fabric GPU ? Bénéficiez d'une revue adaptée à votre charge de travail

Indiquez-nous l'échelle GPU et le motif collectif, et un ingénieur IP Infusion réglera avec vous les temporisateurs de flowlet et le scoring de chemin, ou commencez par un premier schéma leaf-spine dans l'AI Fabric Design Suite.

Demander une démo technique Ouvrir la suite de conception AI fabric

Concevez tout le fabric IA avec OcNOS

Du dossier économique au calcul du nombre de ports, reprenez où vous en êtes dans la construction.

Solution Fabric IA ouverte La fabric IA 800G complète : commutateurs ouverts, OcNOS-DC, et support sous un seul contrat. Designs de référence Topologies AI Fabric Fabrics rail-optimized à deux et trois niveaux, et DCI cohérent, dimensionnés en nombres de ports réels. Dimensionner et construire Suite de conception de fabric IA Dimensionnez un fabric GPU : nombres de leaf, spine et super-spine avec un récapitulatif des composants et de la consommation.
Nouveau dans les AI fabrics ? Commencez ici Qu'est-ce qu'un AI fabric ? Qu'est-ce qu'un GPU fabric ? Qu'est-ce que l'Ethernet sans perte ? Qu'est-ce que RDMA ? Commutateurs réseau pour l'IA
La technologie à l'intérieur RoCEv2 sans perte Réseau rail-optimized DLB GLB (7.1) Ultra Ethernet Tomahawk 6 à 1.6T DCQCN blocage PFC InfiniBand contre Ethernet RoCE vs InfiniBand Architecture de fabric IA DCI cohérent