RoCEv2 : Ethernet sans perte pour les fabrics IA
RoCEv2 est la façon dont RDMA fonctionne sur de l'Ethernet standard : il encapsule le RDMA dans UDP/IP et utilise le port de destination UDP 4791, si bien que le trafic collectif GPU est routable sur un fabric leaf-spine ordinaire. Il requiert un fabric sans perte construit avec PFC et ECN, avec DCQCN comme boucle de contrôle de congestion, et OcNOS fournit l'ensemble de cette boîte à outils dès aujourd'hui sur du matériel ouvert 400G et 800G pris en charge.
Les mêmes GPU sur un fabric leaf-spine sans perte
Une tranche de rail compacte : deux spines et deux leaves acheminant du RoCEv2 entre quatre GPU. Les trames de pause PFC circulent saut par saut en cas de congestion, tandis qu'ECN marque les flux éléphants pour une réaction DCQCN à la source. Le RDMA est encapsulé dans UDP/IP sur le port de destination 4791, si bien que le même trafic est routable sur un fabric Ethernet standard.
Une perte quasi nulle maintient l'efficacité des collectifs GPU
Les collectifs GPU (all-reduce, all-gather, all-to-all) génèrent des flux éléphants qui saturent des chemins de fabric uniques et exigent une perte quasi nulle pour maintenir l'efficacité des tâches d'entraînement. Qu'un seul paquet soit perdu sur un lien RoCEv2 400G et le NIC concerné retransmet l'intégralité de la fenêtre d'envoi RDMA, ce qui se mesure en secondes de temps d'inactivité GPU. RoCEv2 transforme un fabric leaf-spine en transport sans perte pour ces charges de travail en encapsulant le RDMA dans UDP/IP sur le port de destination 4791, si bien que le même trafic est routable en Layer 3.
| Parameter | RoCEv1Couche 2 | RoCEv2UDP/IP, routable |
|---|---|---|
| Encapsulation | RDMA transporté directement sur Ethernet (EtherType dédié). | RDMA encapsulé dans UDP/IP, utilisant le port de destination UDP 4791. |
| Couche réseau | Layer 2 uniquement ; confiné à un seul domaine de broadcast. | Layer 3 routable sur un fabric leaf-spine standard. |
| Entropie ECMP | Aucun en-tête IP ou UDP à hacher ; répartition des chemins limitée. | Le port source UDP varie comme identifiant de flux pour répartir le trafic sur les chemins ECMP. |
| Exigence d'absence de perte | Nécessite un fabric sans perte construit avec PFC et ECN. | Nécessite un fabric sans perte construit avec PFC et ECN, avec DCQCN comme boucle de contrôle de congestion. |
| Portée et échelle | Au sein d'une baie ou d'un même sous-réseau. | Fabrics de datacenter routés ; architectures de référence pour des clusters de 256 à 4,096 GPU. |
Les mécanismes qui maintiennent le fabric sans perte
Un fabric RoCEv2 reste sans perte grâce à trois mécanismes coopérants : le priority flow control met en pause la bonne classe de trafic, ECN et DCQCN maintiennent le débit sans perte, et le routage adaptatif éloigne les quelques flux volumineux des liens montants congestionnés.
Pause par priorité
Le PFC 802.1Qbb met en pause une seule classe de trafic saut par saut pour que les files acheminant le RDMA ne perdent jamais de paquets. OcNOS l'associe à un watchdog d'interblocage PFC qui détecte une priorité bloquée et se rétablit automatiquement avant qu'elle ne se propage.
Marquage ECN et boucle DCQCN
Le marquage ECN basé sur WRED marque les paquets à mesure que les files se remplissent, et DCQCN est la boucle de contrôle de congestion qui réagit à la source pour maintenir le débit sans perte. Valeurs par défaut ajustées pour les collectifs xCCL, avec surcharge paramétrique pour les piles RDMA personnalisées.
Routage adaptatif par flowlet
Le hachage ECMP statique entre en collision sur les quelques flux éléphants volumineux que produisent les collectifs IA. DLB redistribue les flowlets en cas de saturation locale d'un lien dans des fenêtres inférieures à la milliseconde, éliminant les collisions du hachage statique qui pénalisent les topologies symétriques.
RoCEv2 tel qu'OcNOS le fournit
Au-delà des mécanismes sans perte, OcNOS apporte la télémétrie, les architectures de référence et un chemin de mise à niveau propre qui transforment une configuration sans perte en un fabric exploitable.
Statistiques de file par priorité
Capteurs en streaming gNMI pour la profondeur des files, les compteurs de pause PFC, les paquets marqués ECN et la détection de micro-rafales, exportés selon un intervalle d'échantillonnage de 10 secondes pour une observabilité à l'échelle du fabric.
Fabrics optimisées pour les rails
Architectures de référence pour les topologies alignées par rail et à fabric ordonnancé, couvrant des clusters de 256 à 4,096 GPU sur des commutateurs ouverts 400G et 800G du commerce. Les diagnostics CLI vérifient de bout en bout une configuration sans perte validée.
Une trajectoire claire vers Ultra Ethernet
Déployez du RoCEv2 sans perte aujourd'hui et gardez une voie ouverte vers Ultra Ethernet, qui ajoute le packet spray et le RDMA multi-chemins à l'Ethernet standard à mesure que les NIC UEC arrivent. Un seul NOS prend en charge les deux.
Une seule image NOS sur du matériel ouvert
La boîte à outils RoCEv2 fait partie de la licence OcNOS-DC de base, et non d'un ensemble d'options payantes, et elle fonctionne à l'identique sur un choix de matériel multifournisseur.
- Choix matériel ouvert. Exécutez RoCEv2 sur des plateformes UfiSpace, Edgecore ou Celestica avec la même image NOS, de sorte que la couche fabric n'entraîne aucun verrouillage fournisseur.
- Parité fonctionnelle dès le premier jour. L'équilibrage de charge adaptatif, le réglage DCQCN et la télémétrie native ASIC font partie de la licence OcNOS-DC de base, et non d'options payantes.
- Conceptions de référence. Configurations de référence pour les topologies de fabric IA courantes, avec les configurations et les résultats de tests publiés.
- Accès d'ingénierie. Le niveau de support premium inclut un dialogue direct avec l'équipe RoCEv2 d'OcNOS pendant la mise en service du fabric.
Ethernet standard, performances RDMA, matériel ouvert
RoCEv2 permet à un fabric IA de réutiliser les opérations et les équipements Ethernet que le reste du datacenter fait déjà tourner, et OcNOS est l'élément habilitant qui le rend sans perte sur des commutateurs ouverts.
Ethernet standard, vitesse RDMA
RoCEv2 transporte le RDMA sur de l'UDP/IP routable, de sorte que les collectifs GPU bénéficient d'un déplacement de données à faible latence et faible consommation CPU, sans fabric dédié distinct.
Choix de matériel ouvert
La même configuration sans perte fonctionne sur les commutateurs UfiSpace, Edgecore et Celestica en 400G et 800G, préservant le caractère multifournisseur de la couche fabric.
OcNOS est l'élément habilitant
PFC, ECN, DCQCN, DLB et la télémétrie par priorité sont livrés dans un seul NOS sur des commutateurs ouverts, si bien que le fabric sans perte complet se construit, au lieu d'être un projet d'intégration.
RoCEv2, questions et réponses
Qu'est-ce que RoCEv2 ?
Quelle est la différence entre RoCEv2 et RoCEv1 ?
RoCEv2 nécessite-t-il un réseau sans perte ?
Quel port UDP RoCEv2 utilise-t-il ?
Comment RoCEv2 se compare-t-il à InfiniBand ?
Approfondissez. Emportez-le avec vous.
La fiche technique du produit et des téléchargements techniques et concis qui vont plus loin que cette page.
Datasheet OcNOS-DC
Spécification complète OcNOS-DC : l'ensemble des fonctionnalités EVPN-VXLAN et Ethernet for AI, les SKU logiciels, les plateformes matérielles prises en charge et le guide de commande de la solution.
Obtenir la fiche techniqueOcNOS 800G Fabric IA sans perte
Fabric RoCEv2 non bloquante sur des spines Broadcom Tomahawk 4/5 : niveaux de SKU, plateformes validées et architecture de déploiement.
Obtenir le briefFabric DC EVPN-VXLAN
Fabric de data center leaf-spine de niveau opérateur : IRB symétrique, routes Type-2/Type-5 et passerelle anycast distribuée.
Obtenir le briefDatasheet OcNOS-DC
Formulaire rapide. Votre PDF s'ouvre dans un nouvel onglet immédiatement après l'envoi.
✓ Ouverture de votre PDF dans un nouvel onglet…
S'il ne s'est pas ouvert, utilisez le lien ci-dessous.
OcNOS 800G Fabric IA sans perte
Formulaire rapide. Votre PDF s'ouvre dans un nouvel onglet immédiatement après l'envoi.
✓ Ouverture de votre PDF dans un nouvel onglet…
S'il ne s'est pas ouvert, utilisez le lien ci-dessous.
Fabric DC EVPN-VXLAN
Formulaire rapide. Votre PDF s'ouvre dans un nouvel onglet immédiatement après l'envoi.
✓ Ouverture de votre PDF dans un nouvel onglet…
S'il ne s'est pas ouvert, utilisez le lien ci-dessous.
Vous construisez ou faites évoluer un fabric IA ? Obtenez une analyse adaptée à votre charge de travail
Indiquez-nous l'échelle GPU et le motif collectif, et un ingénieur IP Infusion dimensionnera avec vous les étages de commutation et réglera la configuration sans perte, ou commencez par une première ébauche de topologie leaf-spine dans l'AI Fabric Design Suite.
Concevez tout le fabric IA avec OcNOS
Du dossier économique au calcul du nombre de ports, reprenez où vous en êtes dans la construction.