Définition réseau · RDMA · RoCEv2

Qu'est-ce qu'un fabric IA ?

Un fabric IA est le réseau back-end GPU (scale-out) qui transporte le trafic RDMA entre les GPU pendant l'entraînement et l'inférence distribués. Elle relie chaque NIC GPU entre serveurs et pods à l'aide de commutateurs leaf et spine dans des topologies optimisées par rail et Clos, et elle utilise un transport Ethernet sans perte (RoCEv2 avec PFC et ECN) afin qu'aucun paquet ne soit perdu sous charge. Comme les GPU échangent des données au rythme d'opérations collectives synchronisées, la latence de queue de la fabric détermine le temps d'exécution des tâches. Il s'agit du sens réseau, et non de la « data fabric » d'entreprise utilisée en gestion des données. OcNOS-DC fournit cette fabric sur du matériel Broadcom Tomahawk 5.

Planifier une revue d'architecture Voir les topologies
RoCEv2transport Ethernet sans perte
51,2 TbpsTomahawk 5, 64x800G
jusqu'à 16 384GPU, trois niveaux
OcNOS-DCun seul NOS sur du matériel ouvert

Le sens réseau, pas « data fabric »

Deux domaines différents utilisent le mot « fabric ». Un data fabric est une architecture logicielle destinée à unifier et gouverner les données à l'échelle d'une entreprise. Un fabric IA, le sujet de cette page, est un réseau physique : les câbles, les commutateurs et le transport qui déplacent le trafic RDMA entre les GPU. Lorsqu'une équipe d'infrastructure IA dit « le fabric était le goulot d'étranglement », elle parle de ce réseau, celui qui a déterminé la durée du run d'entraînement.

  • Fabric de données. Une architecture de gestion de données d'entreprise pour unifier et gouverner les données entre les systèmes. Du logiciel, pas des câbles.
  • Fabric IA. Le réseau back-end GPU physique qui transporte le RDMA entre les GPU pendant l'entraînement et l'inférence. Cette page traite de ce sens.
  • Pourquoi c'est important. Le fabric IA est celui qui détermine le temps d'achèvement des tâches, il est donc conçu pour rester sans perte et uniformément chargé.

Des rails, du Clos et un transport qui ne peut rien perdre

Un fabric IA est un réseau leaf-spine (Clos) réglé pour un seul motif de trafic : de nombreux GPU s'envoyant simultanément de gros flux. Trois choix de conception le définissent, et chacun existe pour protéger le temps d'achèvement des tâches.

Topologie

Rail-optimized, deux niveaux puis trois

Chacune des 8 NIC d'un serveur GPU se connecte à sa propre rail leaf dédié, de sorte que le trafic AllReduce dominant sur le même rail reste sur un seul leaf. Au-delà d'un seul pod de 4 096 GPU, la même conception rail-optimized ajoute un troisième niveau : leaf, spine et super-spine.

Topologies de fabric IA
Transport

RoCEv2 sans perte

Les GPU déplacent les données avec RDMA, qui fonctionne mal lorsque des paquets sont perdus. PFC empêche une file d'attente de commutateur de déborder et ECN marque les paquets tôt pour que la NIC émettrice ralentisse avant qu'une perte ne survienne. Cette combinaison transporte RoCEv2 sur Ethernet.

Fabric RoCEv2 sans perte
Comportement

Pourquoi il doit être sans perte

OcNOS-DC fournit ce fabric avec PFC (y compris over L3), ECN, Dynamic ECN, WRED, et de l'équilibrage de charge dynamique pour maintenir chaque chemin uniformément chargé, car le flux de queue décide du moment où l'ensemble de la tâche se termine.

Ethernet sans perte

Ethernet suffit, et le commutateur fixe le plafond

Le fabric IA est aujourd'hui un réseau Ethernet. Ce qu'il peut atteindre est déterminé par le silicon du commutateur sous-jacent et le nombre de GPU pour lequel vous le concevez.

  • Ethernet suffit. RoCEv2 avec PFC et ECN fournit du RDMA sans perte sur du matériel standard et multi-fournisseurs. Meta a publié un cluster d'entraînement de 24 576 GPU construit sur Ethernet.
  • Le commutateur fixe le plafond. OcNOS-DC fonctionne sur des plateformes Broadcom Tomahawk 5 (51.2 Tbps, 64x800G) comme l'Edgecore AIS800-64D et l'UfiSpace S9321-64E, la densité dont a besoin un fabric GPU 800G.
  • Concevez selon le nombre de GPU. Pod rail-optimized à deux niveaux jusqu'à 4 096 GPU sur Tomahawk 5, puis un troisième niveau super-spine jusqu'à 16 384 GPU.

FAQ : Qu'est-ce qu'un fabric IA

Qu'est-ce qu'un AI fabric ?
En réseau, un fabric IA est le réseau back-end GPU (scale-out) qui transporte le trafic RDMA entre les GPU pendant l'entraînement et l'inférence distribués. Il connecte les NIC GPU à travers chaque serveur et pod afin qu'une opération collective telle qu'AllReduce s'achève aussi vite que le permet le lien le plus lent. Il est constitué de commutateurs leaf et spine dans des topologies rail-optimized et Clos, et il exécute un transport Ethernet sans perte (RoCEv2 avec PFC et ECN). OcNOS-DC fournit ce fabric sur du matériel Broadcom Tomahawk 5.
Un fabric IA est-il identique à un data fabric ?
Non. Ce sont des termes différents qui partagent un mot. Un data fabric est une architecture de gestion de données d'entreprise pour unifier et gouverner les données entre les systèmes. Un fabric IA, au sens réseau employé ici, est un réseau back-end GPU physique qui déplace le trafic RDMA entre les GPU. Cette page traite du sens réseau.
Pourquoi le fabric IA détermine-t-il le temps d'achèvement des tâches ?
L'entraînement GPU se déroule de façon synchronisée. Après chaque étape, les GPU échangent des gradients dans un collectif, et chaque GPU attend la fin de cet échange avant que l'étape suivante ne commence. Si un lien se bloque ou perd un paquet, toute la tâche attend. Comme le fabric transporte chacun de ces échanges, c'est sa latence de queue, et non sa moyenne, qui détermine la durée d'un run d'entraînement, raison pour laquelle le fabric est conçu pour rester sans perte et uniformément chargé.
Ai-je besoin d'InfiniBand, ou Ethernet suffit-il pour un fabric IA ?
Ethernet est aujourd'hui un transport de premier plan pour les fabrics IA. RoCEv2 avec PFC et ECN fournit un RDMA sans perte sur du matériel standard multi-fournisseurs, et Meta a publié un cluster d'entraînement de 24 576 GPU bâti sur Ethernet. OcNOS-DC exploite aujourd'hui ce fabric RoCEv2, et IP Infusion est membre de l'Ultra Ethernet Consortium.

Vous construisez un fabric IA ? Dimensionnons-le ensemble.

Indiquez-nous l'échelle GPU et la charge de travail, et un ingénieur IP Infusion réalisera avec vous les calculs de topologie et de ports sur du matériel Tomahawk 5 ouvert exécutant OcNOS-DC.

Planifier une revue d'architecture Voir les topologies

Concevez tout le fabric IA avec OcNOS

Du dossier économique au calcul du nombre de ports, reprenez où vous en êtes dans la construction.

Solution Fabric IA ouverte La fabric IA 800G complète : commutateurs ouverts, OcNOS-DC, et support sous un seul contrat. Designs de référence Topologies AI Fabric Fabrics rail-optimized à deux et trois niveaux, et DCI cohérent, dimensionnés en nombres de ports réels. Dimensionner et construire Suite de conception de fabric IA Dimensionnez un fabric GPU : nombres de leaf, spine et super-spine avec un récapitulatif des composants et de la consommation.
Nouveau dans les AI fabrics ? Commencez ici Qu'est-ce qu'un AI fabric ? Qu'est-ce qu'un GPU fabric ? Qu'est-ce que l'Ethernet sans perte ? Qu'est-ce que RDMA ? Commutateurs réseau pour l'IA
La technologie à l'intérieur RoCEv2 sans perte Réseau rail-optimized DLB GLB (7.1) Ultra Ethernet Tomahawk 6 à 1.6T DCQCN blocage PFC InfiniBand contre Ethernet RoCE vs InfiniBand Architecture de fabric IA DCI cohérent

Approfondissez. Emportez-le avec vous.

Deux téléchargements techniques et concis qui vont plus loin que cette page : la fiche technique complète OcNOS-DC et l'architecture de fabric IA 800G sans perte.

Fiche technique

Datasheet OcNOS-DC

Spécification complète OcNOS-DC : l'ensemble des fonctionnalités EVPN-VXLAN et Ethernet for AI, les SKU logiciels, les plateformes matérielles prises en charge et le guide de commande de la solution.

Obtenir la fiche technique
Solution brief

OcNOS 800G Fabric IA sans perte

Fabric RoCEv2 sans perte sur des spines Tomahawk 5 : niveaux de SKU, plateformes qualifiées et architecture de déploiement.

Obtenir le brief