RoCE vs. InfiniBand für AI-Cluster
RoCEv2 betreibt RDMA über offenes, Multi-Vendor-Ethernet; InfiniBand ist eine verlustfreie Single-Vendor-Fabric. RoCEv2 bleibt mit PFC und ECN verlustfrei und steuert Congestion mit DCQCN, während InfiniBand durch Credit-based Flow Control by Design verlustfrei ist. Für die meisten AI-Workloads erreicht Ethernet mit RoCEv2 inzwischen das Niveau von InfiniBand und bewahrt zugleich die Hardwareauswahl. Diese Seite vergleicht beide Achse für Achse.
Dieselben GPUs, zwei Wege zur Verlustfreiheit
Links: RoCEv2 über Ethernet hält Queues flach mit Hop-für-Hop-PFC-Pause, ECN-Markierung am Switch und DCQCN-Ratensteuerung zurück an der sendenden NIC. Rechts: InfiniBand nutzt Credit-based Flow Control und sendet nur, wenn der Empfänger Buffer-Credits angekündigt hat. Beide vermeiden Verluste; das eine auf offenem, Multi-Vendor-Ethernet, das andere auf einer Single-Vendor-Fabric.
RoCE und InfiniBand, Achse für Achse
RoCE ist RDMA over Converged Ethernet; die für AI relevante Version ist RoCEv2, die RDMA in UDP/IP auf Zielport 4791 kapselt, sodass der Verkehr über eine Layer-3-Ethernet-Fabric routbar ist. InfiniBand ist ein speziell entwickelter Interconnect der InfiniBand Trade Association, durch seine Architektur mittels Credit-based Flow Control verlustfrei. Die praktische Frage für einen AI-Cluster lautet, welcher Transport den Workload erfüllt und dabei Kosten, Lieferkette und Betrieb im Rahmen hält.
| Kriterium | RoCERoCEv2 über Ethernet, offen | InfiniBandSingle-Vendor-Fabric |
|---|---|---|
| Transport und Standard | RDMA über UDP/IP (RoCEv2, IBTA), routbar auf Layer 3 über UDP-Zielport 4791. Setzt auf Standard-IEEE-Ethernet auf. | Speziell entwickelte InfiniBand-Link- und Transportschichten (IBTA), mit dedizierten Switches und Host-Channel-Adaptern. |
| Wie es verlustfrei bleibt | PFC für Hop-für-Hop-Flow-Control plus ECN mit DCQCN für Ende-zu-Ende-Congestion-Control, wodurch Switch-Queues flach bleiben und RDMA Verluste vermeidet. | Credit-based Flow Control: Ein Sender überträgt nur gegen angekündigte Buffer-Credits des Empfängers, sodass die Fabric by Design verlustfrei ist. |
| Ökosystem | Offen, Multi-Vendor auf jeder Schicht: Switch-ASIC, Switch, NIC, NOS und Optik von unabhängigen Anbietern. | Effektiv Single-Vendor für NIC- und Switch-Silizium; Fabric, Adapter und Management kommen als ein Stack. |
| Auswahl an Switch-Silizium | Broadcom Tomahawk 5 (51.2 Tbps, 64x800G) und Tomahawk 4 (25.6 Tbps, 64x400G) auf unter anderem Edgecore- und UfiSpace-Plattformen. | Silizium ausschließlich vom InfiniBand-Anbieter; keine unabhängige ASIC- oder Switch-Versorgung. |
| Überlastungssteuerung | DCQCN Ende-zu-Ende: Der Switch markiert ECN und die sendende NIC senkt ihre Rate. Adaptive Load Balancing (DLB) verteilt Flows und gleicht bei lokaler Congestion neu aus. | Credit-based Flow Control mit in die Spezifikation integriertem Adaptive Routing. |
| Skalieren | Auf Tomahawk 5 erreicht eine zweistufige Fabric 4,096 GPUs bei 800G pro GPU, 1:1 nicht blockierend; eine zusätzliche Super-Spine-Ebene erweitert dies auf 16,000+ und bis zu etwa 65,536 Endpunkte. | Skaliert über Fat-Tree-Topologien, verwaltet von einem zentralen Subnet Manager innerhalb der Fabric eines einzigen Anbieters. |
| Betrieb und Werkzeuge | Standard-Ethernet-Betrieb: BGP, EVPN, gNMI/OpenConfig-Telemetrie und dieselbe Automatisierung (Ansible, NETCONF), die im gesamten Rechenzentrum genutzt wird. | Spezialisiertes InfiniBand-Tooling und ein Subnet Manager, getrennt vom übrigen Betriebsmodell des Rechenzentrums. |
| Vendor-Lock-in | Keiner inhärent: Hardware und Software beliebig kombinieren und die Lieferkette über eine zweite Quelle absichern. | Hoch: NIC, Switch, Verkabelung und Management stammen typischerweise von einem einzigen Anbieter. |
| Kostentrend | Open-Hardware-Spines mit OcNOS-DC bei 400G und 800G unterbieten Single-Vendor-Fabrics deutlich, und der Abstand wächst mit steigenden Port-Geschwindigkeiten. | Single-Vendor-Preise verlangen für gleichwertige Kapazität einen Aufpreis. |
InfiniBand ist eine Marke der InfiniBand Trade Association. NVIDIA und Mellanox sind Marken ihrer jeweiligen Eigentümer. Dieser Vergleich dient zu Informationszwecken und impliziert keine Zugehörigkeit oder Befürwortung.
Wo jeweils die Stärken liegen
Die richtige Antwort ist workload-spezifisch. Wählen Sie InfiniBand, wo eine absolute Latenzuntergrenze die Anforderung ist; wählen Sie RoCE, wo Betriebsmodell, Kosten oder die Reichweite über Standorte hinweg die Entscheidung tragen.
Die Latenzuntergrenze ist die Vorgabe
Eng gekoppelte HPC-Simulationen, bei denen die absolute NIC-zu-NIC-Latenzuntergrenze wichtiger ist als die Total Cost of Ownership, und dedizierte Single-Tenant-Cluster, in denen ein Single-Vendor-Stack akzeptabel ist.
Betrieb und Lieferkette zählen
Multi-Tenant-GPU-as-a-Service und AI-Back-Ends, die ein Betriebsmodell, einen Tooling-Stack und eine Multi-Vendor-Lieferkette mit dem Rest des Rechenzentrums teilen.
Die Kosten pro GPU sind entscheidend
Open-Hardware-Spines plus OcNOS-DC beseitigen den Single-Vendor-Netzwerkaufpreis. Bei einem Aufbau mit mehreren Tausend GPUs ist das ein erheblicher Anteil des Hardware-Budgets.
Die Fabric erstreckt sich über mehrere Rechenzentren
Ethernet erstreckt sich mit 400G ZR/ZR+ kohärenter Optik natürlich über Hallen und Regionen, ohne eine separate Long-Haul-Gateway-Schicht.
Wie OcNOS-DC den RoCEv2-Weg umsetzt
OcNOS-DC stellt das verlustfreie Ethernet-Substrat bereit, das RoCEv2 benötigt. Der Switch liefert die Primitive zur Verlustvermeidung und Congestion; RoCEv2 ist der Transport, der auf der NIC läuft. Dies sind heute verifizierte Switch-Fähigkeiten in OcNOS-DC.
PFC und ECN
Priority Flow Control, einschließlich PFC-mit-QoS über Layer 3 mit DCBX/LLDP sowie ECN und Dynamic ECN auf Tomahawk 5, sodass RDMA-Flows flache Queues ohne Verluste halten.
DCQCN-Markierung
Der Switch markiert ECN, sodass der Ende-zu-Ende- DCQCN-Loop aus NIC und Switch Sender ratenbegrenzen kann. ETS und WRED formen und verwalten die Queues, die RDMA tragen.
DLB und RTAG7
Dynamische Lastverteilung (einschließlich Reactive Path Rebalance und Random Flow) mit RTAG7-Hashing verteilt Kollektive und gleicht bei lokaler Congestion neu aus.
PFC-Deadlock-Schutz
PFC-Deadlock-Erkennung und -Wiederherstellung plus Buffer-Tuning halten die verlustfreie Fabric unter der Pause-Propagierung stabil, die PFC erzeugen kann.
gNMI / OpenConfig
Streaming gNMI- und OpenConfig-Telemetrie bieten Per-Priority-Transparenz für Closed-Loop-Tuning während der Cluster-Inbetriebnahme und im Steady-State-Betrieb.
Mitglied des Ultra Ethernet Consortium
IP Infusion ist Mitglied des Ultra Ethernet Consortium (UEC). UEC 1.0 definiert einen Multipath-Ethernet-Transport , der einen Flow über viele Pfade verteilt und auf UEC-fähigen NICs läuft.
Die Siliziumauswahl ist offen: OcNOS-DC läuft auf dem Edgecore AIS800-64D und UfiSpace S9321-64E / S9321-64EO (das -64EO ergänzt 400G ZR+) auf Broadcom Tomahawk 5 sowie dem Edgecore AS9736-64D auf Tomahawk 4, allesamt On-Chip- und Shared-Buffer-Plattformen, die für RoCEv2 abgestimmt sind. Ein IP Infusion-Vertrag deckt die Software und die validierte Hardware ab, mit einem TAC und einem SLA.
Warum viele Betreiber für AI-Back-Ends zu Ethernet wechseln
Die Verschiebung ist eher operativ und wirtschaftlich als eine Frage der reinen Latenz. Drei Dinge summieren sich bei einem großen Aufbau schnell: ein Netzwerkmodell, das mit dem Rest des Rechenzentrums geteilt wird, eine Multi-Vendor-Lieferkette und geringere Kosten pro Port bei 400G und 800G.
Die Skalierung ist im Feld erprobt. Meta hat beschrieben, seine größten Modelle über eine RoCE-Ethernet-Fabric auf einem Cluster mit 24,000 GPUs zu trainieren, eine Größe, für die man einst InfiniBand für erforderlich hielt. Adaptive Load Balancing auf Tomahawk 4 und Tomahawk 5 verteilt Flows bei Echtzeit-Congestion neu, sodass eine gut betriebene Fabric eine Auslastung über 90 Prozent anstreben kann, wo statisches Hashing sie brachliegen ließe. Neunzig Prozent sind ein Designziel, keine gemessene Garantie.
Der verbleibende Vorteil von InfiniBand, eine niedrigere absolute Latenzuntergrenze, ist für eine Reihe eng gekoppelter HPC-Workloads weiterhin relevant. Für die meisten Distributed-Training- und Inferenz-Kollektive im großen Maßstab liegt eine korrekt abgestimmte RoCEv2-Fabric unter der Schwelle, die die Job-Completion-Time verändert, weshalb inzwischen das operative und wirtschaftliche Argument die meisten neuen AI-Back-End-Aufbauten entscheidet.
- Ein Netzwerkmodell, das mit dem Rest des Rechenzentrums geteilt wird, sodass Kenntnisse und Tooling übertragbar bleiben.
- Eine Multi-Vendor-Lieferkette, die es Ihnen ermöglicht, Silizium, Switches, NICs und Optik über eine zweite Quelle zu beziehen.
- Geringere Kosten pro Port bei 400G und 800G, wodurch Kapital für mehr GPUs, eine größere Storage-Tier oder einen zweiten Standort frei wird.
Beide sind valide, und die meisten neuen AI-Back-Ends landen bei Ethernet
InfiniBand behält eine niedrigere absolute Latenzuntergrenze, für die eine Reihe eng gekoppelter HPC-Workloads weiterhin zahlen wird. Für die meisten AI-Back-End-Aufbauten entscheidet das operative und wirtschaftliche Argument zugunsten von RoCEv2 über offenes Ethernet.
Beide sind valide
InfiniBand behält eine niedrigere absolute Latenzuntergrenze, für die eine Reihe eng gekoppelter HPC-Workloads weiterhin zahlen wird.
RoCEv2 hat die Lücke für AI geschlossen
Mit korrekt konfiguriertem PFC, ECN, DCQCN und Adaptive Load Balancing erreicht Ethernet bei den meisten Distributed-Training-Kollektiven das Niveau von InfiniBand und bewahrt zugleich die Hardwareauswahl.
Die Entscheidung ist meist operativ
Ein Netzwerkmodell, eine Multi-Vendor-Lieferkette und geringere Kosten pro Port bei 400G und 800G entscheiden die meisten neuen AI-Back-End-Aufbauten.
OcNOS-DC ist der offene Weg
Verifizierte RoCEv2-Primitive heute auf validierter offener Hardware von Edgecore und UfiSpace, mit einem Vertrag, einem TAC und einem SLA mit OcNOS Systems.
Das AI-Fabric-Referenzdesign anfordern
Das vollständige PDF: verlustfreie RoCEv2-Topologie, Anzahl der Switches und Transceiver, validierte Plattformen und ein DCQCN-Startprofil auf OcNOS-DC.
Das AI-Fabric-Referenzdesign anfordern
Kurzes Formular: Ihr PDF wird unmittelbar nach dem Absenden heruntergeladen.
✓ Ihr PDF wird in einem neuen Tab geöffnet…
Falls es sich nicht geöffnet hat, nutzen Sie den untenstehenden Link.
FAQ zu RoCE vs. InfiniBand
Was ist der Unterschied zwischen RoCE und InfiniBand?
Ist Ethernet für AI so schnell wie InfiniBand?
Was ist RoCEv2?
Benötigt RoCE eine verlustfreie Fabric?
Kann ich RoCE auf offenen Switches betreiben?
Was ist mit Ultra Ethernet?
Tiefer einsteigen. Zum Mitnehmen.
Das Produktdatenblatt und kurze, technische Downloads, die über diese Seite hinausgehen.
OcNOS-DC-Datenblatt
Vollständige OcNOS-DC-Spezifikation: Funktionsumfang für EVPN-VXLAN und Ethernet for AI, Software-SKUs, unterstützte Hardware-Plattformen und der Solution Ordering Guide.
Datenblatt abrufenOcNOS: verlustfreie 800G-AI-Fabric
Non-Blocking-RoCEv2-Fabric auf Broadcom-Tomahawk-4/5-Spines: SKU-Stufen, validierte Plattformen und Deployment-Architektur.
Brief anfordernEVPN-VXLAN-Data-Center-Fabric
Carrier-Grade-Leaf-Spine-Data-Center-Fabric: symmetrisches IRB, Type-2/Type-5-Routen und verteiltes Anycast-Gateway.
Brief anfordernOcNOS-DC-Datenblatt
Kurzes Formular. Ihr PDF öffnet sich unmittelbar nach dem Absenden in einem neuen Tab.
✓ Ihr PDF wird in einem neuen Tab geöffnet…
Falls es sich nicht geöffnet hat, nutzen Sie den untenstehenden Link.
OcNOS: verlustfreie 800G-AI-Fabric
Kurzes Formular. Ihr PDF öffnet sich unmittelbar nach dem Absenden in einem neuen Tab.
✓ Ihr PDF wird in einem neuen Tab geöffnet…
Falls es sich nicht geöffnet hat, nutzen Sie den untenstehenden Link.
EVPN-VXLAN-Data-Center-Fabric
Kurzes Formular. Ihr PDF öffnet sich unmittelbar nach dem Absenden in einem neuen Tab.
✓ Ihr PDF wird in einem neuen Tab geöffnet…
Falls es sich nicht geöffnet hat, nutzen Sie den untenstehenden Link.
Dimensionieren Sie eine RoCEv2-Fabric im Vergleich zu InfiniBand? Lassen Sie uns die workload-spezifische Rechnung durchgehen
Nennen Sie uns den Workload und die GPU-Größenordnung, und ein IP Infusion-Ingenieur geht die Zahlen gemeinsam mit Ihnen durch, oder beginnen Sie mit einem ersten Leaf-Spine-Entwurf in der AI Fabric Design Suite.
Die gesamte AI-Fabric mit OcNOS entwerfen
Vom Business Case bis zur Portanzahl-Berechnung: Steigen Sie dort ein, wo Sie beim Aufbau gerade stehen.