Accueil · Documentation · Technologie · RoCEv2

RoCEv2 : Ethernet sans perte pour les fabrics IA

RDMA over Converged Ethernet v2 est ce qui achemine le trafic collectif des GPU à travers les AI fabrics modernes. OcNOS met en œuvre l'ensemble de la boîte à outils RoCEv2 (PFC, ECN/DCQCN, répartition de charge adaptative et télémétrie par priorité) sur le matériel ouvert 400G et 800G pris en charge.

Topologie rail de fabric IA

Une tranche de rail compacte : deux spines et deux leaves transportant du RoCEv2 entre quatre GPU. Les trames PFC pause circulent saut par saut en cas de congestion, tandis qu'ECN marque les flux éléphants pour déclencher la réaction DCQCN à la source.

Topologie de fabric IA RoCEv2 : deux spines, deux leaves et quatre GPU, avec des flèches de pause PFC sur le trafic RoCEv2 sans perte
RoCEv2 : fabric IA à deux spines et deux leaves transportant un trafic GPU sans perte avec flux de pause PFC.

Pourquoi RoCEv2 est important pour les AI fabrics

Les collectifs GPU (all-reduce, all-gather, all-to-all) génèrent flux éléphants qui saturent les chemins de fabric uniques et exigent une perte quasi nulle pour préserver l'efficacité des tâches d'entraînement. La perte d'un seul paquet sur une liaison 400G RoCEv2 entraîne la retransmission par la carte réseau concernée de la totalité de la fenêtre d'envoi RDMA, ce qui se traduit par plusieurs secondes de temps d'inactivité du GPU. RoCEv2 transforme une fabric leaf-spine en un transport sans perte pour ces charges de travail, autour de trois piliers : PFC (Priority Flow Control), ECN (Explicit Congestion Notification) et DCQCN (Data Center Quantized Congestion Notification). Pour dimensionner les niveaux de commutateurs et le nombre de ports de votre cluster GPU, utilisez le Outil de dimensionnement d'AI Fabric.

L'implémentation RoCEv2 d'OcNOS

PFC

Pause par priorité

PFC 802.1Qbb sur des files de priorité configurables, associé à des watchdog timers pour détecter les conditions de deadlock et se rétablir automatiquement avant qu'elles ne se propagent.

ECN + DCQCN

Marquage adaptatif

Marquage ECN basé sur WRED par file, avec retour reaction-point DCQCN. Paramètres par défaut réglés pour les workloads collectifs xCCL (NCCL / RCCL / oneCCL) ; surcharge paramétrique pour les piles RDMA personnalisées.

Équilibrage de charge

Flowlet adaptatif

Le Dynamic Load Balancing (DLB) redistribue les flowlets lors de la saturation d'un lien à des intervalles inférieurs à la milliseconde. Élimine les collisions de hachage statique qui nuisent aux topologies symétriques.

Télémétrie

Statistiques de file par priorité

Capteurs de streaming gNMI pour la profondeur des files, les compteurs de pause PFC, les paquets marqués ECN et la détection des microbursts, exportés avec une granularité d'une seconde.

Topologie

Fabrics optimisées pour les rails

Validated for rail-aligned and scheduled-fabric topologies. Recipes for 256-4,096 GPU clusters using off-the-shelf 400G and 800G open switches.

Diagnostics

Vérification sans perte

Diagnostics CLI pour vérifier de bout en bout une configuration sans perte reconnue comme correcte : calcul du headroom PFC, contrôle de cohérence du seuil ECN et test d'incast synthétique.

Ce que vous apporte OcNOS

  • Choix matériel ouvert. Exécutez RoCEv2 sur des plateformes UfiSpace, Edgecore, Wedge ou Celestica avec la même image NOS : aucun verrouillage fournisseur pour la couche fabric.
  • Parité fonctionnelle dès le premier jour. L'équilibrage de charge adaptatif, le réglage DCQCN et la télémétrie native ASIC ne sont pas des options payantes. Ils font partie de la licence OcNOS-DC de base.
  • Reference designs. Configurations validées pour les topologies de fabric IA répandues : nous publions les configurations et les résultats des tests.
  • Accès d'ingénierie. Le niveau de support premium inclut un dialogue direct avec l'équipe OcNOS RoCEv2 lors de la mise en service de la fabric.
Contrôle de congestion DCQCN watchdog d'interblocage PFC DLB : routage adaptatif GLB: fabric-wide (7.1) Ultra Ethernet (UEC) Topologies de fabric IA InfiniBand contre Ethernet Overlays EVPN-VXLAN Plateformes validées (HCL) OcNOS-DC Solution AI Fabric

Vous construisez ou faites évoluer une fabric IA ?

Demander une démo technique →
FAQ

Questions fréquentes

Qu'est-ce que RoCEv2 ?
RoCEv2 (RDMA over Converged Ethernet version 2) transporte le trafic RDMA sur des réseaux UDP/IP routables, permettant aux serveurs de déplacer des données directement de mémoire à mémoire avec une latence très faible et une faible charge CPU. Il est largement utilisé pour les clusters d'IA et le stockage haute vitesse sur les fabrics Ethernet.
Quelle est la différence entre RoCEv2 et RoCEv1 ?
RoCEv2 fait fonctionner le RDMA sur UDP/IP : il est donc routable à travers des réseaux Layer 3, tandis que RoCEv1 fonctionne directement sur Ethernet (Layer 2) et reste dans un unique domaine de broadcast. RoCEv2 s'étend à des fabric de data center routées et plus vastes, que RoCEv1 ne peut atteindre.
RoCEv2 nécessite-t-il un réseau sans perte ?
RoCEv2 requiert un fabric sans perte ou quasi sans perte, car les performances RDMA chutent fortement en cas de perte de paquets. Les opérateurs y parviennent avec le PFC pour le contrôle de flux et l'ECN associé au DCQCN pour le contrôle de congestion, en maintenant des files d'attente peu profondes afin que les flux RDMA évitent les rejets et les retransmissions.
Quel port UDP RoCEv2 utilise-t-il ?
RoCEv2 utilise le port UDP de destination 4791, le port réservé par l'IANA pour le trafic RoCEv2. Comme RDMA est encapsulé dans UDP/IP, les paquets sont routables et le port source UDP peut être varié comme identifiant de flux afin de répartir le trafic sur les chemins ECMP.
Comment RoCEv2 se compare-t-il à InfiniBand ?
RoCEv2 assure le RDMA sur Ethernet et IP standard, tandis qu'InfiniBand est une fabric distincte, conçue à cet effet, avec ses propres commutateurs et adaptateurs. RoCEv2 réutilise les opérations et les équipements Ethernet, ce qui explique pourquoi de nombreux réseaux d'IA et de stockage l'adoptent plutôt qu'une fabric InfiniBand dédiée.
Notes de solution

Approfondissez. Emportez-le avec vous.

Deux documents techniques concis qui vont plus loin que cette page : l'architecture de fabric IA 800G sans perte et la référence de data center EVPN-VXLAN.

Solution brief

OcNOS 800G Lossless AI Fabric

Fabric RoCEv2 non bloquante sur des spines Broadcom Tomahawk 4/5 : niveaux de SKU, plateformes validées et architecture de déploiement.

Obtenir le brief
Solution brief

Fabric DC EVPN-VXLAN

Fabric de data center leaf-spine de niveau opérateur : IRB symétrique, routes Type-2/Type-5 et passerelle anycast distribuée.

Obtenir le brief