UEC 1.0 · Packet Spray · UET

Ultra Ethernet: UEC 1.0 für AI-Fabrics

Ultra Ethernet ist der offene, herstellerübergreifende Weg zu AI-Networking auf InfiniBand-Niveau über Standard-Ethernet. Die im Juni 2025 veröffentlichte UEC-1.0-Spezifikation definiert den Ultra Ethernet Transport (UET) mit Packet Spraying, Multi-Path-RDMA, Out-of-Order-Zustellung, selektiver Neuübertragung sowie sender- und empfängerbasierter Überlastkontrolle. Sie erfordert keine verlustfreie PFC-Fabric. IP Infusion ist Mitglied des Ultra Ethernet Consortium, und OcNOS-DC betreibt heute produktiv verlustfreie RoCEv2-AI-Fabrics mit DLB.

Juni 2025UEC 1.0-Spezifikation
RoCEv2Verlustfreie OcNOS-DC-Fabric heute
bis zu 800GOcNOS-DC auf Tomahawk 5
600+Betreibernetze auf OcNOS

Packet Spray über alle Pfade

Eine einzelne RDMA-Nachricht zwischen zwei GPUs wird Paket für Paket gleichzeitig über alle vier Spine-Pfade verteilt. Die Fabric toleriert die Ankunft in falscher Reihenfolge, und die Ziel-UEC-NIC setzt sie wieder in der richtigen Reihenfolge zusammen. Kein Flow-Pinning, keine Hash-Kollisionen, keine ungenutzten Uplinks.

Ultra Ethernet Packet Spray über eine 4-Spine-Fabric Zwei GPUs, verbunden über zwei Leaves und vier Spines. Eine einzelne RDMA-Nachricht wird in vier Pakete aufgeteilt und gleichzeitig über alle vier Spine-Pfade gesendet. An der empfangenden NIC treffen die Pakete in falscher Reihenfolge ein und werden vor der Übergabe an die GPU wieder in die richtige Reihenfolge gebracht. Das untere Band nennt UEC-Eigenschaften: Packet Spraying, Multipath-RDMA, Out-of-Order-Zustellung, Reassemblierung in der NIC. P1 P2 P3 P4 Spine-1UEC-Fabric Spine-2UEC-Fabric Spine-3UEC-Fabric Spine-4UEC-Fabric Leaf-1Ethernet Leaf-2Ethernet GPU-AUEC NIC GPU-BReassemblierung UEC 1.0 · PACKET SPRAYING · MULTIPATH-RDMA · OUT-OF-ORDER-ZUSTELLUNG · REASSEMBLIERUNG IN DER NIC

Was der Ultra Ethernet Transport hinzufügt

RoCEv2 funktioniert, erbt jedoch ältere Designbeschränkungen: ein gehashter Pfad pro Flow, netzwerkweite PFC-Pause und eine Loss-Recovery per Window-Restart. Die UEC 1.0-Spezifikation behält das physische Standard-Ethernet bei, das Sie bei jedem Anbieter kaufen können, und ersetzt die oberen Schichten durch einen Transport (UET), der für große AI- und HPC-Jobs ausgelegt ist.

Pfadnutzung

Packet Spraying

Eine einzelne Nachricht wird verteilt über jeden verfügbaren Pfad gleichzeitig. Kein Flow-Pinning, keine ECMP-Kollisionen, sodass die Fabric-Auslastung während eines Collectives dem theoretischen Maximum nahekommt.

RDMA

Multi-Path-RDMA

RDMA wird übertragen über viele parallele Pfade statt über einen einzigen, sodass eine große Übertragung nicht länger durch die Bandbreite eines einzelnen gehashten Links begrenzt wird.

Lieferung

Zustellung außerhalb der Reihenfolge

Die Fabric darf umsortieren. Die UEC-NIC setzt in der richtigen Reihenfolge wieder zusammen vor der Zustellung, sodass Anwendungen und die GPU niemals eine falsche Reihenfolge sehen.

Wiederherstellung

Selektive Neuübertragung

Verlorene Pakete werden wiederhergestellt selektiv statt das RDMA-Window neu zu starten, wodurch die Tail-Latenz-Einbuße durch jeglichen Verlust in der Fabric drastisch reduziert wird.

Steuerung

Moderne Congestion-Control

Beides sender- und empfängerbasierte Verfahren ersetzen die grobe PFC-Pause als primäres Mittel. UET erfordert keine verlustfreie PFC-Fabric; die Pause wird zur Rückfallebene, nicht zur ersten Verteidigungslinie.

Ökosystem

Offen und herstellerübergreifend

UET läuft auf Standard-Ethernet von jedem Anbieter. Das Konsortium, dessen Mitglieder aus den Bereichen Silicon, NIC, Switch und Cloud stammen, veröffentlicht die Spezifikation offen.

UEC, RoCEv2 und InfiniBand, Achse für Achse

RoCEv2 betreibt heute die meisten AI-Fabrics im Produktivbetrieb. Ultra Ethernet ist der standardbasierte Weg nach vorn, sobald UEC-fähige NICs verfügbar sind, und InfiniBand bleibt der Single-Vendor-Spezialist. Welche Achse zählt, hängt vom Workload und vom Zeithorizont ab.

Kriterium RoCEv2Ethernet, heute Ultra EthernetUET, offen und herstellerübergreifend InfiniBandSingle-Vendor
PfadnutzungEin gehashter ECMP-Pfad pro Flow; parallele Pfade können ungenutzt bleiben.Packet Spray über jeden verfügbaren Pfad parallel.Adaptive Routing in der Spezifikation integriert.
VerlustbehandlungVerlustfrei über PFC + ECN + DCQCN; setzt auf netzwerkweite Pause.Toleriert Verlust und Umsortierung; erfordert keine verlustfreie PFC-Fabric.Verlustfrei durch kreditbasierte Flusskontrolle.
NeuordnungAusschließlich Zustellung in richtiger Reihenfolge.Out-of-Order-Zustellung, an der NIC wieder in richtiger Reihenfolge zusammengesetzt.Zustellung in richtiger Reihenfolge.
NeuübertragungWindow-basierte Recovery belastet die Tail-Latenz.Selektive Neuübertragung nur der verlorenen Pakete.Recovery auf Link-Ebene.
ÜberlastungssteuerungDCQCN mit ECN-Markierung.Sowohl sender- als auch empfängerbasierte Steuerung an den Endpunkten.Kreditbasiert auf dem Link.
ÖkosystemMulti-Vendor-Ethernet auf jeder Schicht.Offen, herstellerübergreifend; jeder Anbieter kann nach der UEC 1.0-Spezifikation entwickeln.Faktisch Single-Vendor bei NIC- und Switch-Silizium.
OcNOS-DC-StatusHeute produktiv auf Tomahawk 4 / Tomahawk 5.IP Infusion ist UEC-Mitglied; OcNOS-DC betreibt RoCEv2 heute produktiv.Nicht zutreffend; separate Fabric und Tooling.

Was OcNOS-DC heute in AI-Fabrics betreibt

OcNOS-DC betreibt heute eine produktive verlustfreie RoCEv2-Fabric mit PFC, ECN und DLB auf Switches mit Broadcom Tomahawk 4 und Tomahawk 5. IP Infusion ist Mitglied des Ultra Ethernet Consortium.

Transport

Verlustfreies RoCEv2

PFC pausiert Traffic pro Priorität, bevor Puffer überlaufen, und ECN markiert Pakete frühzeitig.

Pfadnutzung

Dynamisches Load Balancing

DLB liest die aktuelle ASIC-Queue-Tiefe und bindet Flowlets an weniger ausgelastete Pfade, sodass große Flows nicht mehr auf einem Uplink kollidieren.

Hardware

Tomahawk 4 / 5-Silizium

Läuft auf offenen Switches mit Broadcom Tomahawk 4 (25.6T) und Tomahawk 5 (51.2T) von Edgecore und UfiSpace.

Schutz

PFC-Deadlock-Recovery

Deadlock-Erkennung pro Port und Priorität findet pausierte Queue-Zyklen und leert die Queue, bevor Jobs hängen bleiben.

Telemetrie

Streaming-Telemetrie

Streaming-Telemetrie über gNMI mit OpenConfig-Modellen unterstützt das Tuning während der Cluster-Inbetriebnahme.

Offene Hardware

Herstellerneutraler Pfad

Die Kombination von OcNOS-DC mit offener Hardware belässt die Wahl von NIC, GPU und Switch beim Cluster-Betreiber, sodass kein einzelner Anbieter die AI-Fabric besitzt.

Jetzt auf RoCEv2 aufbauen, UEC einplanen, sobald NICs verfügbar sind

Echte Fabrics wechseln nicht über Nacht. RoCEv2 trägt heute produktives AI-Training, und UEC-fähige NICs bringen einen Multipath-Transport auf Standard-Ethernet, sobald sie verfügbar sind.

  • RoCEv2 heute. Produktionsreif für Cluster, die jetzt aufgebaut werden. OcNOS-DC liefert RoCEv2 auf Tomahawk 4 / Tomahawk 5. Die meisten 2026 produktiven Fabrics sind RoCEv2.
  • UEC, sobald die NICs verfügbar sind. UEC-fähige NICs bringen Packet Spray und selektive Neuübertragung in Scale-out-Cluster. Cluster-Betreiber wählen den NIC-Anbieter.
  • InfiniBand bleibt Spezialist. Single-Vendor-Performance mit separater Verkabelung, separatem Management und eigenem Ökosystem. UEC bringt vergleichbare Transporttechniken auf standardbasiertes Multi-Vendor-Ethernet.

Offenes Ethernet für AI-Fabrics, heute mit OcNOS-DC

Ultra Ethernet bringt Multipath-Transporttechniken auf standardbasiertes Multi-Vendor-Ethernet. IP Infusion ist Mitglied des Ultra Ethernet Consortium, und OcNOS-DC betreibt heute produktiv verlustfreies RoCEv2 mit DLB.

Ein Konsortiumsmitglied

IP Infusion ist Mitglied des Ultra Ethernet Consortium, das die Ultra-Ethernet-Spezifikation offen veröffentlicht.

Produktives RoCEv2 jetzt

OcNOS-DC liefert heute verlustfreies RoCEv2 mit PFC, ECN und DLB auf validierter offener Hardware von Anbietern wie Edgecore und UfiSpace.

NIC Ihrer Wahl

OcNOS-DC läuft auf offener Broadcom-Tomahawk-4- und Tomahawk-5-Hardware und überlässt die Wahl von NIC und GPU dem Cluster-Betreiber.

Ultra Ethernet, beantwortet

Was ist Ultra Ethernet (UEC)?
Ultra Ethernet ist ein offener Standard des Ultra Ethernet Consortium (UEC), der Ethernet für AI- und HPC-Workloads anpasst. Die im Juni 2025 veröffentlichte UEC 1.0-Spezifikation definiert den Ultra Ethernet Transport (UET): Endpunkt-Packet-Spray über jeden Pfad, Multi-Path-RDMA, Out-of-Order-Zustellung mit Reassemblierung an der NIC, selektive Neuübertragung sowie sender- und empfängerbasierte Überlastungssteuerung, sodass große Trainings- und Inferenz-Jobs nicht länger durch Single-Path-Hashing und netzwerkweite Pause begrenzt werden.
Ist IP Infusion Mitglied des Ultra Ethernet Consortium?
Ja. IP Infusion ist Mitglied des Ultra Ethernet Consortium (UEC), des Branchengremiums, das die offene Ultra-Ethernet-Spezifikation für AI- und HPC-Networking entwickelt und veröffentlicht.
Worin unterscheidet sich Ultra Ethernet von RoCEv2?
RoCEv2 bindet jeden Flow an einen ECMP-Pfad und ist auf netzwerkweites PFC angewiesen, um verlustfrei zu bleiben. Ultra Ethernet verteilt eine einzelne Nachricht parallel über jeden verfügbaren Pfad, setzt sie an der Ziel-NIC in der richtigen Reihenfolge wieder zusammen, überträgt nur die verlorenen Pakete erneut und steuert die Überlastung sowohl am Sender als auch am Empfänger. UET erfordert keine verlustfreie PFC-Fabric, was die Abhängigkeit von der PFC-Pause verringert und die Tail-Latenz bei großen Collectives senkt.
Unterstützt OcNOS Ultra Ethernet bereits heute?
OcNOS-DC betreibt heute eine produktive verlustfreie RoCEv2-Fabric mit PFC, ECN und DLB auf Switches mit Broadcom Tomahawk 4 und Tomahawk 5. Der Ultra Ethernet Transport läuft auf UEC-fähigen NICs, und IP Infusion ist Mitglied des Ultra Ethernet Consortium. Um zu planen, wie UEC zu einem konkreten Aufbau passt, kontaktieren Sie uns.
Benötige ich neue Hardware für Ultra Ethernet?
Das Endpunktverhalten von Ultra Ethernet (Packet Spray, Reassembly, selektive Neuübertragung) läuft auf UEC-fähigen NICs. Die UEC-1.0-Spezifikation deckt auch Link- und Switch-Verhalten ab, daher hängen die Fabric-Anforderungen eines UEC-Einsatzes von NIC, Switch-Silicon und NOS-Release ab. Dimensionieren Sie die Fabric mit einem Ingenieur von IP Infusion passend zu Ihrer NIC-Wahl.
Was sind Packet Spray und Out-of-Order-Zustellung?
Packet Spray sendet die Pakete einer Nachricht gleichzeitig über alle parallelen Fabric-Pfade statt über einen einzelnen gehashten Pfad, sodass während eines Collectives kein Link zum Hotspot wird. Da die Pakete dann in falscher Reihenfolge eintreffen können, setzt die Ziel-NIC sie wieder in die ursprüngliche Reihenfolge zusammen. Zusammen halten sie jeden Pfad ausgelastet und verkürzen die langsamste Übertragung in einem Job.

Sie planen eine AI-Fabric? Lassen Sie sie uns gemeinsam entwerfen

Nennen Sie uns den Workload und die GPU-Größenordnung, und ein IP Infusion-Ingenieur dimensioniert die Leaf-Spine-Fabric gemeinsam mit Ihnen, oder starten Sie einen ersten Entwurf in der AI Fabric Design Suite.