InfiniBand vs. Ethernet für AI-Fabrics

Für die meisten verteilten Trainings-Collectives im großen Maßstab: ja. Ethernet hat eine um mehrere Hundert Nanosekunden höhere Latenzuntergrenze als InfiniBand, doch liegt diese unterhalb der Schwelle, die die meisten Workloads beeinflusst, sobald RoCEv2 mit PFC, DCQCN und DLB korrekt konfiguriert ist.

Wählen Sie InfiniBand für eng gekoppelte HPC-Simulationen, bei denen die absolute Latenzuntergrenze wichtiger ist als die Total Cost of Ownership, sowie für geschlossene Single-Tenant-Cluster, in denen ein Single-Vendor-Lock-in akzeptabel ist.

Ethernet setzt sich durch bei mandantenfähigem GPU-as-a-Service, bei Clustern, die ein Betriebsmodell und Tooling mit dem übrigen Data Center teilen, bei kostensensiblen Builds mit mehreren Tausend GPUs sowie bei Fabrics, die sich über coherent DCI und EVPN zwischen Data Centern erstrecken.

OcNOS-DC liefert heute RoCEv2-lossless-Transport, DLB-Adaptive-Routing und den PFC-Deadlock-Watchdog, GLB in 7.1 für End-to-End-Path-Scoring sowie UEC-Support, sobald die NICs verfügbar sind, alles auf validierter Open Hardware von Anbietern wie Edgecore und UfiSpace.

Weitgehend ja, auch wenn InfiniBand nicht verschwindet. Laut Dell'Oro Group hat Ethernet InfiniBand im KI-Backend-(Scale-out-)Switching überholt und bis Anfang 2026 rund zwei Drittel des Marktes erreicht, gegenüber dem etwa 80-prozentigen Anteil von InfiniBand Ende 2023. Dell'Oro verweist zugleich auf ein starkes InfiniBand-Comeback im Zuge des NVIDIA Blackwell Ultra 800G-Hochlaufs, sodass es die Spezialistenwahl für eng gekoppeltes HPC bleibt. Meta hat beschrieben, seine größten Modelle über eine RoCE-Ethernet-Fabric auf einem von zwei 24,576-GPU-Clustern zu trainieren. Das Ultra Ethernet Consortium, zu dessen Steering-Mitgliedern AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta, Microsoft und Oracle zählen, standardisiert diese Richtung. Die Gründe sind betrieblicher und wirtschaftlicher Natur: ein Netzwerkmodell, das mit dem Rest des Rechenzentrums geteilt wird, eine Multi-Vendor-Lieferkette und geringere Kosten pro Port bei 400G und 800G.

Ethernet mit RoCEv2 ist die verbreitete Alternative. Es transportiert RDMA verlustfrei mit PFC, ECN und DCQCN, ergänzt adaptives Routing über DLB und erhält durch Ultra Ethernet Packet Spray und Multi-Path-RDMA, sobald UEC-NICs verfügbar sind. Auf offener Hardware mit OcNOS-DC liefert es dies auf einem Multi-Vendor-Stack statt auf einer Single-Vendor-Fabric.

Ultra Ethernet (UEC) bringt die Transporttechniken, die InfiniBand geprägt haben, auf Standard-Ethernet: Packet Spray über alle Pfade, Multi-Path-RDMA, Out-of-Order-Zustellung und selektive Neuübertragung. Die im Juni 2025 veröffentlichte UEC 1.0-Spezifikation definiert diesen Transport. Der Unterschied liegt im Ökosystem: InfiniBand ist bei NIC- und Switch-Silizium faktisch Single-Vendor, während Ultra Ethernet eine offene, herstellerübergreifende Spezifikation ist, die jeder Anbieter umsetzen kann.

Die Switching-Ebene macht nur einen bescheidenen Anteil der Total Cost of Ownership eines KI-Clusters aus, über fünf Jahre meist einen einstelligen Prozentsatz, auch wenn dieser Wert steigt, sobald NICs, Optik und Verkabelung hinzukommen. Bei gleicher Kapazität ist Single-Vendor-InfiniBand in der Regel mit einem Preisaufschlag gegenüber Open-Hardware-Ethernet mit OcNOS-DC verbunden. Die nützlichere Frage ist, was das eingesparte Kapital finanziert, ob mehr GPUs, eine größere Storage-Ebene oder einen zweiten Standort für mehr Ausfallsicherheit.