RoCEv2 : Ethernet sans perte pour les fabrics IA
RoCEv2 est la façon dont RDMA fonctionne sur de l'Ethernet standard : il encapsule le RDMA dans UDP/IP et utilise le port de destination UDP 4791, si bien que le trafic collectif GPU est routable sur un fabric leaf-spine ordinaire. Il requiert un fabric sans perte construit avec PFC et ECN, avec DCQCN comme boucle de contrôle de congestion, et OcNOS fournit l'ensemble de cette boîte à outils dès aujourd'hui sur du matériel ouvert 400G et 800G pris en charge.
Les mêmes GPU sur un fabric leaf-spine sans perte
Une tranche de rail compacte : deux spines et deux leaves acheminant du RoCEv2 entre quatre GPU. Les trames de pause PFC circulent saut par saut en cas de congestion, tandis qu'ECN marque les flux éléphants pour une réaction DCQCN à la source. Le RDMA est encapsulé dans UDP/IP sur le port de destination 4791, si bien que le même trafic est routable sur un fabric Ethernet standard.
Une perte quasi nulle maintient l'efficacité des collectifs GPU
Les collectifs GPU (all-reduce, all-gather, all-to-all) génèrent des flux éléphants qui saturent des chemins uniques de la fabric et exigent une perte quasi nulle pour que les tâches d'entraînement restent efficaces. RoCEv2 transforme une fabric leaf-spine en transport sans perte pour ces charges en encapsulant le RDMA dans UDP/IP sur le port de destination 4791, de sorte que ce même trafic est routable sur la couche 3.
| Paramètre | RoCEv1Couche 2 | RoCEv2UDP/IP, routable |
|---|---|---|
| Encapsulation | RDMA transporté directement sur Ethernet (EtherType dédié). | RDMA encapsulé dans UDP/IP, utilisant le port de destination UDP 4791. |
| Couche réseau | Layer 2 uniquement ; confiné à un seul domaine de broadcast. | Layer 3 routable sur un fabric leaf-spine standard. |
| Entropie ECMP | Aucun en-tête IP ou UDP à hacher ; répartition des chemins limitée. | Le port source UDP varie comme identifiant de flux pour répartir le trafic sur les chemins ECMP. |
| Exigence d'absence de perte | Nécessite un fabric sans perte construit avec PFC et ECN. | Nécessite un fabric sans perte construit avec PFC et ECN, avec DCQCN comme boucle de contrôle de congestion. |
| Portée et échelle | Au sein d'une baie ou d'un même sous-réseau. | Fabrics de data center routées ; architectures de référence jusqu'à 16 384 GPU. |
Les mécanismes qui maintiennent le fabric sans perte
Un fabric RoCEv2 reste sans perte grâce à trois mécanismes coopérants : le priority flow control met en pause la bonne classe de trafic, ECN et DCQCN maintiennent le débit sans perte, et l'équilibrage de charge dynamique éloigne les quelques flux volumineux des liens montants congestionnés.
Pause par priorité
Le PFC 802.1Qbb met en pause une seule classe de trafic saut par saut pour que les files acheminant le RDMA ne perdent jamais de paquets. OcNOS l'associe à la détection et reprise des deadlocks PFC, qui détecte une priorité bloquée et la rétablit avant qu'elle ne se propage.
Marquage ECN et boucle DCQCN
Le marquage ECN basé sur WRED marque les paquets à mesure que les files se remplissent, et DCQCN est la boucle de contrôle de congestion qui réagit à la source pour maintenir le débit sans perte.
Équilibrage de charge sensible à la congestion
Le hachage ECMP statique entre en collision sur les quelques flux éléphants volumineux que produisent les collectifs IA. DLB redistribue les flowlets en cas de saturation locale d'un lien, éliminant les collisions du hachage statique qui pénalisent les topologies symétriques.
RoCEv2 tel qu'OcNOS le fournit
Au-delà des mécanismes sans perte, OcNOS apporte la télémétrie, les architectures de référence et un chemin de mise à niveau propre qui transforment une configuration sans perte en un fabric exploitable.
Télémétrie en streaming
Télémétrie en streaming via gNMI avec des modèles OpenConfig pour une observabilité à l'échelle du fabric.
Fabrics optimisées pour les rails
Architectures de référence pour les topologies alignées par rail, jusqu'à 16 384 GPU sur des commutateurs ouverts 400G et 800G du commerce.
La place d'Ultra Ethernet
Ultra Ethernet ajoute le packet spray et le RDMA multichemin à l'Ethernet standard, sur des NIC compatibles UEC. OcNOS-DC exécute déjà en production du RoCEv2 sans perte, et IP Infusion est membre de l'Ultra Ethernet Consortium.
Une seule image NOS sur du matériel ouvert
- Choix matériel ouvert. Exécutez RoCEv2 sur des plateformes UfiSpace ou Edgecore avec la même image NOS, de sorte que la couche fabric n'entraîne aucun verrouillage fournisseur.
- Licences par niveaux. PFC, ECN et ETS sont inclus dans les niveaux OcNOS-DC IPBASE et PLUS. DLB, Dynamic ECN, la reprise après deadlock PFC et le réglage des buffers sont inclus dans le niveau PLUS. La matrice de fonctionnalités indique les plateformes pour chacun.
Ethernet standard, performances RDMA, matériel ouvert
RoCEv2 permet à un fabric IA de réutiliser les opérations et les équipements Ethernet que le reste du datacenter fait déjà tourner, et OcNOS est l'élément habilitant qui le rend sans perte sur des commutateurs ouverts.
Ethernet standard, vitesse RDMA
RoCEv2 transporte le RDMA sur de l'UDP/IP routable, de sorte que les collectifs GPU bénéficient d'un déplacement de données à faible latence et faible consommation CPU, sans fabric dédié distinct.
Choix de matériel ouvert
La même configuration sans perte fonctionne sur les commutateurs UfiSpace et Edgecore en 400G et 800G, préservant le caractère multifournisseur de la couche fabric.
OcNOS est l'élément habilitant
PFC, ECN, DLB et la télémétrie en streaming sont livrés dans un seul NOS sur des commutateurs ouverts, si bien que la fabric sans perte complète se construit, au lieu d'être un projet d'intégration.
RoCEv2, questions et réponses
Qu'est-ce que RoCEv2 ?
Quelle est la différence entre RoCEv2 et RoCEv1 ?
RoCEv2 nécessite-t-il un réseau sans perte ?
Quel port UDP RoCEv2 utilise-t-il ?
Comment RoCEv2 se compare-t-il à InfiniBand ?
Approfondissez. Emportez-le avec vous.
La fiche technique du produit et des téléchargements techniques et concis qui vont plus loin que cette page.
Datasheet OcNOS-DC
Spécification complète OcNOS-DC : l'ensemble des fonctionnalités EVPN-VXLAN et Ethernet for AI, les SKU logiciels, les plateformes matérielles prises en charge et le guide de commande de la solution.
Obtenir la fiche techniqueOcNOS 800G Fabric IA sans perte
Fabric RoCEv2 non bloquante sur des spines Broadcom Tomahawk 4/5 : niveaux de SKU, plateformes validées et architecture de déploiement.
Obtenir le briefFabric DC EVPN-VXLAN
Fabric de data center leaf-spine de niveau opérateur : IRB symétrique, routes Type-2/Type-5 et passerelle anycast distribuée.
Obtenir le briefDatasheet OcNOS-DC
Formulaire rapide. Votre PDF s'ouvre dans un nouvel onglet immédiatement après l'envoi.
✓ Ouverture de votre PDF dans un nouvel onglet…
S'il ne s'est pas ouvert, utilisez le lien ci-dessous.
OcNOS 800G Fabric IA sans perte
Formulaire rapide. Votre PDF s'ouvre dans un nouvel onglet immédiatement après l'envoi.
✓ Ouverture de votre PDF dans un nouvel onglet…
S'il ne s'est pas ouvert, utilisez le lien ci-dessous.
Fabric DC EVPN-VXLAN
Formulaire rapide. Votre PDF s'ouvre dans un nouvel onglet immédiatement après l'envoi.
✓ Ouverture de votre PDF dans un nouvel onglet…
S'il ne s'est pas ouvert, utilisez le lien ci-dessous.
Vous construisez ou faites évoluer un fabric IA ? Obtenez une analyse adaptée à votre charge de travail
Indiquez-nous l'échelle GPU et le motif collectif, et un ingénieur IP Infusion dimensionnera avec vous les étages de commutation et réglera la configuration sans perte, ou commencez par une première ébauche de topologie leaf-spine dans l'AI Fabric Design Suite.
Concevez tout le fabric IA avec OcNOS
Du dossier économique au calcul du nombre de ports, reprenez où vous en êtes dans la construction.