Networking-Definition · RDMA · RoCEv2

Was ist eine AI-Fabric?

Eine AI-Fabric ist das GPU-Back-End-Netzwerk (Scale-out), das RDMA-Traffic zwischen GPUs während des verteilten Trainings und der Inferenz transportiert. Sie verbindet jede GPU-NIC über Server und Pods hinweg mit Leaf- und Spine-Switches in rail-optimierten und Clos-Topologien und nutzt einen verlustfreien Ethernet-Transport (RoCEv2 mit PFC und ECN), damit unter Last kein Paket verworfen wird. Da GPUs Daten in synchronisierten Collectives austauschen, bestimmt die Tail-Latenz der Fabric die Laufzeit der Jobs. Gemeint ist die Netzwerkbedeutung, nicht die „Data Fabric“ aus dem Datenmanagement im Unternehmen. OcNOS-DC stellt diese Fabric auf Broadcom-Tomahawk-5-Hardware bereit.

Architektur-Review vereinbaren Die Topologien ansehen
RoCEv2verlustfreier Ethernet-Transport
51,2 TbpsTomahawk 5, 64x800G
bis zu 16.384GPUs, drei Ebenen
OcNOS-DCein NOS auf offener Hardware

Im Sinne der Netzwerktechnik, nicht "Data Fabric"

Zwei verschiedene Bereiche verwenden das Wort "Fabric". Eine Data Fabric ist eine Software-Architektur zum Vereinheitlichen und Verwalten von Daten über ein Unternehmen hinweg. Eine AI-Fabric, das Thema dieser Seite, ist ein physisches Netzwerk: die Leitungen, Switches und der Transport, die RDMA-Traffic zwischen GPUs bewegen. Wenn ein AI-Infrastruktur-Team sagt "die Fabric war der Engpass", meint es dieses Netzwerk, dasjenige, das bestimmt hat, wie lange der Trainingslauf gedauert hat.

  • Data Fabric. Eine unternehmensweite Datenmanagement-Architektur zum Vereinheitlichen und Verwalten von Daten über Systeme hinweg. Software, keine Leitungen.
  • AI-Fabric. Das physische GPU-Back-End-Netzwerk, das RDMA zwischen GPUs während Training und Inferenz transportiert. Diese Seite behandelt diese Bedeutung.
  • Warum es wichtig ist. Die AI-Fabric ist diejenige, die die Job-Fertigstellungszeit bestimmt, daher ist sie darauf ausgelegt, verlustfrei und gleichmäßig ausgelastet zu bleiben.

Rails, Clos und ein Transport, der keine Pakete verwerfen darf

Eine AI-Fabric ist ein Leaf-Spine-Netzwerk (Clos), das auf ein Traffic-Muster abgestimmt ist: viele GPUs, die gleichzeitig große Flows aneinander senden. Drei Design-Entscheidungen definieren sie, und jede existiert, um die Job-Fertigstellungszeit zu schützen.

Topologie

Rail-optimiert, erst zwei, dann drei Ebenen

Jede der 8 NICs eines GPU-Servers verbindet sich mit einem eigenen dedizierten Rail-Leaf, sodass der dominierende Same-Rail-AllReduce-Traffic auf einem Leaf bleibt. Jenseits eines einzelnen Pods mit 4.096 GPUs fügt dasselbe Rail-optimierte Design eine dritte Ebene hinzu: Leaf, Spine und Super-Spine.

AI-Fabric-Topologien
Transport

Verlustfreies RoCEv2

GPUs bewegen Daten mit RDMA, das schlecht funktioniert, wenn Pakete verworfen werden. PFC verhindert das Überlaufen einer Switch-Queue und ECN markiert Pakete frühzeitig, sodass die sendende NIC drosselt, bevor Verlust eintritt. Diese Kombination transportiert RoCEv2 über Ethernet.

Verlustfreie RoCEv2-Fabric
Verhalten

Warum sie verlustfrei sein muss

OcNOS-DC liefert diese Fabric mit PFC (auch über L3), ECN, Dynamic ECN, WRED, und dynamischem Load-Balancing, um jeden Pfad gleichmäßig ausgelastet zu halten, denn der Tail-Flow entscheidet, wann der gesamte Job fertig ist.

Verlustfreies Ethernet

Ethernet genügt, und der Switch bestimmt die Obergrenze

Die AI-Fabric ist heute ein Ethernet-Netzwerk. Was sie erreichen kann, wird durch das Switch-Silizium darunter und die GPU-Anzahl, für die Sie planen, bestimmt.

  • Ethernet genügt. RoCEv2 mit PFC und ECN liefert verlustfreies RDMA auf standardisierter Multi-Vendor-Hardware. Meta hat einen auf Ethernet aufgebauten Trainingscluster mit 24.576 GPUs veröffentlicht.
  • Der Switch bestimmt die Obergrenze. OcNOS-DC läuft auf Broadcom-Tomahawk-5-Plattformen (51,2 Tbit/s, 64x800G) wie Edgecore AIS800-64D und UfiSpace S9321-64E und bietet damit die Dichte, die eine 800G-GPU-Fabric benötigt.
  • Design nach GPU-Anzahl. Rail-optimierter zweistufiger Pod bis 4.096 GPUs auf Tomahawk 5, danach eine dritte Super-Spine-Ebene bis zu 16.384 GPUs.

FAQ: Was ist eine AI-Fabric

Was ist eine AI-Fabric?
In der Netzwerktechnik ist eine AI-Fabric das GPU-Back-End-Netzwerk (Scale-out), das RDMA-Traffic zwischen GPUs während verteiltem Training und Inferenz transportiert. Sie verbindet die GPU-NICs über jeden Server und Pod hinweg, sodass eine kollektive Operation wie AllReduce so schnell abschließt, wie es der langsamste Link erlaubt. Sie wird aus Leaf- und Spine-Switches in rail-optimierten und Clos-Topologien aufgebaut und betreibt einen verlustfreien Ethernet-Transport (RoCEv2 mit PFC und ECN). OcNOS-DC stellt diese Fabric auf Broadcom Tomahawk-5-Hardware bereit.
Ist eine AI-Fabric dasselbe wie eine Data Fabric?
Nein. Es sind unterschiedliche Begriffe, die sich ein Wort teilen. Eine Data Fabric ist eine unternehmensweite Datenmanagement-Architektur zum Vereinheitlichen und Verwalten von Daten über Systeme hinweg. Eine AI-Fabric, im hier verwendeten Sinn der Netzwerktechnik, ist ein physisches GPU-Back-End-Netzwerk, das RDMA-Traffic zwischen GPUs bewegt. Diese Seite behandelt die Bedeutung aus der Netzwerktechnik.
Warum bestimmt die AI-Fabric die Job-Fertigstellungszeit?
GPU-Training läuft im Gleichschritt. Nach jedem Schritt tauschen GPUs Gradienten in einer kollektiven Operation aus, und jede GPU wartet auf den Abschluss dieses Austauschs, bevor der nächste Schritt beginnt. Wenn ein Link ins Stocken gerät oder ein Paket verwirft, wartet der gesamte Job. Da die Fabric jeden einzelnen dieser Austausche transportiert, bestimmt ihre Tail-Latenz, nicht ihr Durchschnitt, wie lange ein Trainingslauf dauert, weshalb die Fabric darauf ausgelegt ist, verlustfrei und gleichmäßig ausgelastet zu bleiben.
Brauche ich InfiniBand, oder genügt Ethernet für eine AI-Fabric?
Ethernet ist heute ein vollwertiger Transport für AI-Fabrics. RoCEv2 mit PFC und ECN liefert verlustfreies RDMA auf standardisierter Multi-Vendor-Hardware, und Meta hat einen auf Ethernet aufgebauten Trainings-Cluster mit 24.576 GPUs veröffentlicht. OcNOS-DC betreibt diese RoCEv2-Fabric heute, und IP Infusion ist Mitglied des Ultra Ethernet Consortium.

Bauen Sie eine AI-Fabric auf? Dimensionieren wir sie gemeinsam.

Nennen Sie uns die GPU-Größenordnung und den Workload, und ein IP-Infusion-Ingenieur führt die Topologie- und Port-Berechnung gemeinsam mit Ihnen auf offener Tomahawk-5-Hardware mit OcNOS-DC durch.

Architektur-Review vereinbaren Die Topologien ansehen

Die gesamte AI-Fabric mit OcNOS entwerfen

Vom Business Case bis zur Portanzahl-Berechnung: Steigen Sie dort ein, wo Sie beim Aufbau gerade stehen.

Lösung Offene AI-Fabric Die komplette 800G-AI-Fabric: offene Switches, OcNOS-DC und Support aus einem Vertrag. Referenzdesigns AI-Fabric-Topologien Rail-optimierte zwei- und dreistufige Fabrics sowie kohärentes DCI, dimensioniert in realen Port-Zahlen. Dimensionierung & Aufbau AI Fabric Design Suite Dimensionieren Sie eine GPU-Fabric: Leaf-, Spine- und Super-Spine-Anzahl mit einer Übersicht zu Komponenten und Leistungsaufnahme.
Neu bei AI-Fabrics? Hier starten Was ist eine AI-Fabric? Was ist eine GPU-Fabric? Was ist verlustfreies Ethernet? Was ist RDMA? AI-Networking-Switches
Die Technologie im Inneren Verlustfreies RoCEv2 Rail-optimiertes Netzwerk DLB GLB (7.1) Ultra Ethernet Tomahawk 6 mit 1.6T DCQCN PFC-Deadlock InfiniBand vs. Ethernet RoCE vs. InfiniBand AI-Fabric-Architektur Kohärentes DCI

Tiefer einsteigen. Zum Mitnehmen.

Zwei kurze, technische Downloads, die weiter gehen als diese Seite: das vollständige OcNOS-DC-Datenblatt und die verlustfreie 800G-AI-Fabric-Architektur.

Datenblatt

OcNOS-DC-Datenblatt

Vollständige OcNOS-DC-Spezifikation: Funktionsumfang für EVPN-VXLAN und Ethernet for AI, Software-SKUs, unterstützte Hardware-Plattformen und der Solution Ordering Guide.

Datenblatt abrufen
Solution Brief

OcNOS: verlustfreie 800G-AI-Fabric

Non-Blocking-RoCEv2-Fabric auf Broadcom-Tomahawk-4/5-Spines: SKU-Stufen, validierte Plattformen und Deployment-Architektur.

Brief anfordern