Startseite · Dokumentation · Technologie · RoCEv2

RoCEv2: Lossless Ethernet für AI-Fabrics

RDMA over Converged Ethernet v2 ist das, was den GPU-Collective-Verkehr über moderne AI-Fabrics transportiert. OcNOS implementiert das vollständige RoCEv2-Toolkit (PFC, ECN/DCQCN, adaptives Load-Balancing und Telemetrie pro Priorität) auf unterstützter offener 400G- und 800G-Hardware.

AI-Fabric-Rail-Topologie

Ein kompakter Rail-Ausschnitt: zwei Spines und zwei Leaves, die RoCEv2 zwischen vier GPUs transportieren. PFC-Pause-Frames wandern bei Congestion Hop-by-Hop, während ECN Elephant Flows für die DCQCN-Reaktion an der Quelle markiert.

RoCEv2-AI-Fabric-Topologie: zwei Spines, zwei Leaves und vier GPUs, mit PFC-Pause-Pfeilen auf verlustfreiem RoCEv2-Verkehr
RoCEv2: AI-Fabric mit zwei Spines und zwei Leaves, die verlustfreien GPU-Verkehr mit PFC-Pause-Fluss transportiert.

Warum RoCEv2 für AI-Fabrics wichtig ist

GPU-Collectives (all-reduce, all-gather, all-to-all) erzeugen Elephant Flows die einzelne Fabric-Pfade sättigen und einen nahezu verlustfreien Betrieb erfordern, um Trainings-Jobs effizient zu halten. Geht auf einer 400G-RoCEv2-Verbindung ein einziges Paket verloren, überträgt die betroffene NIC das gesamte RDMA-Sendefenster erneut, was sich in Sekunden an GPU-Leerlaufzeit messen lässt. RoCEv2 macht eine Leaf-Spine-Fabric für diese Workloads zu einem verlustfreien Transport, gestützt auf drei Säulen: PFC (Priority Flow Control), ECN (Explicit Congestion Notification) und DCQCN (Data Center Quantized Congestion Notification). Um die Switch-Ebenen und Portanzahlen für Ihren GPU-Cluster zu dimensionieren, nutzen Sie den AI-Fabric-Dimensionierungstool.

Die RoCEv2-Implementierung von OcNOS

PFC

Pause pro Priorität

802.1Qbb PFC auf konfigurierbaren Priority-Queues, kombiniert mit Watchdog-Timern, um Deadlock-Bedingungen zu erkennen und automatisch wiederherzustellen, bevor sie sich ausbreiten.

ECN + DCQCN

Adaptive Markierung

WRED-basiertes ECN-Marking pro Queue mit DCQCN-Reaction-Point-Feedback. Optimierte Standardwerte für xCCL (NCCL / RCCL / oneCCL) Collective-Workloads; parametrisches Override für benutzerdefinierte RDMA-Stacks.

Load Balancing

Adaptive Flowlet

Dynamic Load Balancing (DLB) verteilt Flowlets bei Link-Sättigung in Sub-Millisekunden-Intervallen neu. Beseitigt die statischen Hashing-Kollisionen, die symmetrische Topologien beeinträchtigen.

Telemetrie

Queue-Statistik je Priorität

gNMI-Streaming-Sensoren für Queue-Tiefe, PFC-Pause-Counter, ECN-markierte Pakete und Microburst-Erkennung, exportiert mit 1-Sekunden-Granularität.

Topologie

Rail-optimierte Fabrics

Validated for rail-aligned and scheduled-fabric topologies. Recipes for 256-4,096 GPU clusters using off-the-shelf 400G and 800G open switches.

Diagnostics

Verlustfreiheits-Verifikation

CLI-Diagnostik zur durchgängigen Verifizierung einer bekannt funktionierenden verlustfreien Konfiguration: PFC-Headroom-Berechnung, ECN-Schwellenwert-Prüfung und ein synthetischer Incast-Test.

Was Sie mit OcNOS erhalten

  • Offene Hardware-Wahl. Betreiben Sie RoCEv2 auf UfiSpace-, Edgecore-, Wedge- oder Celestica-Plattformen mit demselben NOS-Image: kein Vendor-Lock-in für die Fabric-Schicht.
  • Funktionsparität ab Tag eins. Adaptives LB, DCQCN-Tuning und ASIC-native Telemetrie sind keine kostenpflichtigen Add-ons. Sie sind Bestandteil der Basis-OcNOS-DC-Lizenz.
  • Referenzdesigns. Validierte Konfigurationen für gängige AI-Fabric-Topologien: Wir veröffentlichen die Konfigurationen und die Testergebnisse.
  • Engineering-Zugang. Die Premium-Support-Stufe umfasst den direkten Dialog mit dem OcNOS-RoCEv2-Team während des Fabric-Bring-ups.
DCQCN-Congestion-Control PFC Deadlock Watchdog DLB: adaptives Routing GLB: fabric-wide (7.1) Ultra Ethernet (UEC) AI-Fabric-Topologien InfiniBand vs. Ethernet EVPN-VXLAN-Overlays Validierte Plattformen (HCL) OcNOS-DC AI-Fabric-Lösung

Bauen oder skalieren Sie eine AI-Fabric?

Technische Demo anfragen →
FAQ

Häufig gestellte Fragen

Was ist RoCEv2?
RoCEv2 (RDMA over Converged Ethernet version 2) transportiert RDMA-Verkehr über routbare UDP/IP-Netze und ermöglicht es Servern, Daten mit sehr geringer Latenz und niedrigem CPU-Overhead direkt zwischen Speichern zu bewegen. Es wird häufig für AI-Cluster und Hochgeschwindigkeitsspeicher auf Ethernet-Fabrics eingesetzt.
Worin besteht der Unterschied zwischen RoCEv2 und RoCEv1?
RoCEv2 betreibt RDMA über UDP/IP und ist somit über Layer-3-Netze routbar, während RoCEv1 direkt über Ethernet (Layer 2) läuft und innerhalb einer einzelnen Broadcast-Domäne verbleibt. RoCEv2 skaliert auf größere, geroutete Data-Center-Fabrics, die RoCEv1 nicht erreichen kann.
Benötigt RoCEv2 ein Lossless-Netzwerk?
RoCEv2 benötigt ein verlustfreies oder nahezu verlustfreies Fabric, da die RDMA-Leistung bei Paketverlust stark abfällt. Netzbetreiber erreichen dies mit PFC für die Flusssteuerung und ECN in Verbindung mit DCQCN für die Überlaststeuerung, wobei sie die Queues flach halten, damit RDMA-Flüsse Verwürfe und erneute Übertragungen vermeiden.
Welchen UDP-Port verwendet RoCEv2?
RoCEv2 verwendet den Ziel-UDP-Port 4791, den von der IANA für RoCEv2-Verkehr reservierten Port. Da RDMA in UDP/IP gekapselt ist, sind die Pakete routbar, und der UDP-Quellport kann als Flow-Identifier variiert werden, um den Verkehr über die ECMP-Pfade zu verteilen.
Wie schneidet RoCEv2 im Vergleich zu InfiniBand ab?
RoCEv2 stellt RDMA über standardmäßiges Ethernet und IP bereit, während InfiniBand eine separate, zweckgebaute Fabric mit eigenen Switches und Adaptern ist. RoCEv2 nutzt Ethernet-Betrieb und -Geräte weiter, weshalb viele AI- und Storage-Netze es anstelle einer dedizierten InfiniBand-Fabric einsetzen.
Solution Briefs

Gehen Sie tiefer. Nehmen Sie es mit.

Zwei kurze, technische Downloads, die über diese Seite hinausgehen: die verlustfreie 800G-AI-Fabric-Architektur und die EVPN-VXLAN-Data-Center-Referenz.

Solution Brief

OcNOS 800G Lossless AI Fabric

Non-blocking RoCEv2-Fabric auf Broadcom Tomahawk 4/5 Spines: SKU-Stufen, validierte Plattformen und Deployment-Architektur.

Brief anfordern
Solution Brief

EVPN-VXLAN Rechenzentrums-Fabric

Carrier-Grade-Leaf-Spine-Data-Center-Fabric: symmetrisches IRB, Type-2/Type-5-Routen und verteiltes Anycast-Gateway.

Brief anfordern
AI-Fabric

Design the whole AI fabric with OcNOS

From the business case to the port-count maths, pick up wherever you are in the build.

Lösung Open AI Fabric The complete 800G AI fabric: open switches, OcNOS-DC, and support under one contract. Referenzdesigns AI-Fabric-Topologien Rail-optimized, scheduled 3-stage Clos, and coherent DCI, sized in real port counts. Size & build AI Fabric Design Suite Size a GPU fabric: leaf, spine, and super-spine counts with a component and power summary.
The technology inside RoCEv2 lossless DLB adaptive routing GLB (7.1) Ultra Ethernet DCQCN PFC-Deadlock InfiniBand vs. Ethernet Coherent DCI