Arrive avec OcNOS 7.1 · De bout en bout

Global Load Balancing : sélection de chemin à l'échelle de la fabric

DLB fait le bon choix à un saut ; GLB fait le bon choix à l'échelle de tout le fabric. À venir dans OcNOS 7.1, le Global Load Balancing étend l'équilibrage de charge d'une vue par port à la qualité de chemin de bout en bout, comblant l'écart des points chauds multi-sauts sur les fabrics IA à trois niveaux jusqu'au plafond de 16 384 GPU.

OcNOS 7.1Version de GLB
De bout en boutscoring de chemin, pas de saut local
16 384plafond GPU, architecture de référence

Évaluer tout le chemin, pas seulement le saut local

Une tranche à trois niveaux (leaf, spine, super-spine) transportant de l'AllReduce GPU. GLB choisit le chemin ayant le meilleur score de bout en bout, et non le meilleur score d'egress local, de sorte qu'une liaison montante propre qui aboutit sur une liaison descendante congestionnée n'est plus choisie à l'aveugle.

Global Load Balancing sur une fabric IA à trois niveaux Fabric IA à trois niveaux. Deux super-spines en haut, quatre spines au milieu, deux leaves en bas. Des flèches de télémétrie montent puis redescendent afin que le leaf d'entrée voie la qualité du chemin de bout en bout. Un lien spine vers super-spine est congestionné et contourné au profit d'un autre chemin de bout en bout. télémétrie de bout en bout Super-Spine-1TH5 · 51.2T Super-Spine-2TH5 · 51.2T Spine-1e2e ok Spine-2e2e ok Spine-3uplink saturé Spine-4e2e ok Leaf d'entréeGLB · classe les chemins Leaf de sortierack cible GLB · ÉVALUATION DES CHEMINS DE BOUT EN BOUT · PRISE EN COMPTE DE LA CONGESTION MULTI-SAUTS · OcNOS 7.1

DLB et GLB, selon la portée de la décision de chemin

DLB évalue chaque next-hop ECMP à partir de la profondeur de file d'egress locale, ce qui est optimal sur un leaf-spine à 2 niveaux. Passez à un Clos à 3 niveaux et vous pouvez choisir un spine avec une liaison montante propre, pour aboutir sur un super-spine dont la liaison descendante vers le leaf de sortie est congestionnée. La vue locale est correcte ; la vue de bout en bout est fausse.

Critère DLBlocal, disponible aujourd'hui GLBglobal, OcNOS 7.1
Portée de la décisionPar saut : chaque commutateur classe ses propres sauts suivants ECMP.De bout en bout : les leaves d'entrée classent des chemins leaf-à-leaf complets.
Signal utiliséProfondeur de file d'attente de sortie locale et utilisation des liens sur ce commutateur.Télémétrie de congestion agrégée depuis chaque niveau, jusqu'à l'entrée.
Choix le plus adaptéFabrics leaf-spine à 2 niveaux, et le saut leaf vers spine dans une fabric à trois niveaux.Fabrics à trois niveaux avec super-spines, jusqu'au plafond de 16 384 GPU.
Point chaud détectéCongestion de sortie locale uniquement.Points chauds en aval que le saut local ne peut pas voir.
RéaffectationAligné sur les flowlets, dans l'ordre pour RoCEv2 et TCP.Aligné sur les flowlets, même garantie d'ordre, entrée à l'échelle de tout le fabric.

Comment l'implémentation GLB s'articule

GLB est rendu possible par OcNOS en tant que système d'exploitation réseau sur du matériel ouvert basé sur Broadcom.

Échelle

Jusqu'au plafond de 16k GPU

Les architectures de référence utilisent 256 commutateurs spine et 128 commutateurs super-spine, chacun un Tomahawk 5 64x800G, dimensionnés au plafond architectural de 16 384-GPU.

À quoi s'attendre lorsque vous adoptez GLB

GLB arrive avec OcNOS 7.1. Contactez IP Infusion pour les plateformes prises en charge et les licences.

  • Arrive avec OcNOS 7.1. Cycle de vie des versions et fenêtres de support au Page des versions OcNOS.
  • Revue d'architecture disponible. Si vous dimensionnez un fabric de plus de 1 000 GPU, nous mènerons un exercice de dimensionnement incluant le plan de télémétrie GLB. Obtenez un premier schéma leaf-spine avec l' suite de conception de fabric IA.

DLB fixe le socle, GLB relève le plafond

L'équilibrage de charge dynamique réduit déjà la tail-latency à l'échelle à 2 niveaux. GLB, à venir dans OcNOS 7.1, porte cette même discipline jusqu'aux fabrics à trois niveaux où se trouvent les plus grands clusters.

DLB résout le cas courant

Sur un leaf-spine à 2 niveaux et le saut leaf-à-spine, l'équilibrage de charge dynamique local élimine déjà la plupart des collisions ECMP. C'est disponible sur TH4 et TH5 aujourd'hui.

GLB résout le cas à grande échelle

GLB, à venir dans OcNOS 7.1, évalue des chemins complets afin que le leaf d'entrée cesse de poursuivre une liaison montante propre vers une liaison descendante congestionnée.

Le Global Load Balancing, en clair

En quoi GLB diffère-t-il de DLB ?
DLB évalue chaque next-hop à partir de la profondeur de file d'attente de sortie locale sur un switch, ce qui est optimal sur un leaf-spine à 2 niveaux. GLB agrège la télémétrie de congestion de chaque niveau afin que les leaves d'entrée classent des chemins leaf-à-leaf complets, détectant les points chauds en aval que la vue locale manque sur les fabrics à trois niveaux.
Quand GLB sera-t-il disponible ?
GLB arrive avec OcNOS 7.1. Contactez IP Infusion pour les plateformes prises en charge et les licences.
Quelle taille de fabric GLB prend-il en charge ?
Les architectures de référence utilisent 256 commutateurs spine et 128 commutateurs super-spine, chacun un Tomahawk 5 64x800G, dimensionnés au plafond architectural de 16 384-GPU.

Vous dimensionnez un fabric de plusieurs milliers de GPU ? Faisons les calculs ensemble

Indiquez-nous la charge de travail et l'échelle GPU, et un ingénieur IP Infusion dimensionnera avec vous le plan de télémétrie GLB, ou commencez par un premier schéma leaf-spine dans l'AI fabric design suite.