Networking-Definition · Scale-out · RoCEv2

Was ist eine GPU-Fabric?

Eine GPU-Fabric ist das Back-End-Netzwerk, das GPUs über Server und Pods hinweg verbindet, sodass sie gemeinsam an einem Trainings- oder Inferenz-Job arbeiten können. Sie transportiert den RDMA-Traffic, den GPUs während kollektiver Operationen austauschen, getrennt vom Front-End-Netzwerk für Management und Storage. Sie ist das Scale-out-Netzwerk, das dort beginnt, wo die serverinterne Scale-up-Domäne wie NVLink endet, aufgebaut aus rail-optimierten und Clos-Topologien mit verlustfreiem RoCEv2, und OcNOS-DC stellt sie auf Broadcom Tomahawk 5-Hardware bereit.

Architektur-Review vereinbaren Die Topologien ansehen
4.096 GPUsZweistufig, 1:1 blockierungsfrei
Bis zu 16.384 GPUsDreistufig Rail-optimiert
51,2 TbpsTomahawk 5 · 64x800G
1 NOSOcNOS-DC auf offener Hardware

Scale-up endet, Scale-out beginnt

Eine GPU-Fabric liegt auf einer Seite einer klaren Grenze. Innerhalb eines Servers läuft die Scale-up-Domäne mit Terabit-Geschwindigkeiten; zwischen Servern transportiert die Scale-out-GPU-Fabric den Rest. Ein Kollektiv nutzt zuerst Scale-up innerhalb der Domäne, dann transportiert diese Fabric den serverübergreifenden Traffic.

Innerhalb des Servers

Scale-up-Domäne

Der Interconnect mit sehr hoher Bandbreite innerhalb eines GPU-Servers und seiner eng gekoppelten Domäne, zum Beispiel NVLink innerhalb eines NVL72-Racks. Hier kommunizieren die GPUs, als wären sie ein großer Beschleuniger. Das ist nicht die GPU-Fabric.

Zwischen Servern

Scale-out-GPU-Fabric

Das Ethernet-Netzwerk zwischen Servern und Pods über Rail-, Leaf-, Spine- und Clos-Ebenen hinweg. Das ist die GPU-Fabric. Da Scale-up die Daten zuerst auf das Ziel-Rail bringt, transportiert diese Ebene vor allem Verkehr innerhalb eines Rails und zwischen Pods, und genau deshalb lohnt sich 1:1 non-blocking gerade hier.

Rails und Clos

Die meisten GPU-Fabrics sind Rail-optimierte Leaf-Spine-Netzwerke: Jede der 8 NICs eines GPU-Servers ist mit ihrem eigenen dedizierten Rail-Leaf verbunden, sodass der dominierende Same-Rail-AllReduce-Traffic auf einem Leaf bleibt und nie den Spine durchquert. Jenseits eines einzelnen Pods mit 4.096 GPUs fügt dasselbe Rail-optimierte Design eine Super-Spine-Ebene hinzu.

Rail-optimierte Leaves

Jede der 8 NICs eines Servers wird ihrem eigenen Rail-Leaf zugeordnet, wodurch der dominante Same-Rail-AllReduce-Traffic auf einem Leaf und vom Spine ferngehalten wird.

Rail-optimiertes Netzwerk

Dreistufiger Maßstab

Auf Tomahawk 5 erreicht eine zweistufige Fabric 4.096 GPUs bei 800G pro GPU, 1:1 nicht blockierend; darüber hinaus skaliert eine dritte Ebene auf bis zu 16.384 GPUs.

AI-Fabric-Topologien

Verlustfreier RoCEv2-Transport

Die GPU-Ebene transportiert RDMA über RoCEv2, verlustfrei ausgelegt, sodass ein Kollektiv niemals an einem verworfenen Paket ins Stocken gerät.

Verlustfreie RoCEv2-Fabric

Verlustfreies RoCEv2, und OcNOS-DC liefert es

GPUs bewegen Daten mit RDMA über RoCEv2, das bei Paketverlust schlecht funktioniert. Daher ist die GPU-Fabric verlustfrei ausgelegt und wird gleichmäßig ausgelastet gehalten, sodass kein Link während eines Kollektivs zum Hotspot wird. OcNOS-DC stellt genau dies auf Broadcom Tomahawk 5 bereit, als Enabler für offene Multi-Vendor-Hardware.

  • Verlustfrei ausgelegt mit Priority Flow Control (auch über L3) und ECN, sodass ein Trainingsschritt niemals an einem verworfenen Paket ins Stocken gerät.
  • Gleichmäßig ausgelastet gehalten mit DLB, sodass kein einzelner Link während eines Kollektivs zum Hotspot wird.
  • Geliefert von OcNOS-DC auf Broadcom Tomahawk 5-Plattformen (51.2 Tbps, 64x800G) wie dem Edgecore AIS800-64D und UfiSpace S9321-64E.

FAQ: Was ist eine GPU-Fabric

Was ist eine GPU-Fabric?
Eine GPU-Fabric ist das Back-End-Netzwerk, das GPUs über Server und Pods hinweg verbindet, sodass sie gemeinsam an einem einzelnen Trainings- oder Inferenz-Job arbeiten können. Sie transportiert den RDMA-Traffic, den GPUs während kollektiver Operationen austauschen, und ist vom Front-End-Netzwerk für Management und Storage getrennt. In der Praxis ist eine GPU-Fabric ein Leaf-Spine-Ethernet-Netzwerk (Clos), üblicherweise rail-optimiert, mit verlustfreiem RoCEv2. OcNOS-DC stellt sie auf Broadcom Tomahawk 5-Hardware bereit.
Was ist der Unterschied zwischen Scale-up und Scale-out?
Scale-up ist der Interconnect mit sehr hoher Bandbreite innerhalb eines GPU-Servers und seiner eng gekoppelten Domäne, zum Beispiel NVLink innerhalb eines NVL72-Racks, wo GPUs mit Terabit-Geschwindigkeiten kommunizieren, als wären sie ein einziger großer Beschleuniger. Scale-out ist das Netzwerk zwischen Servern und Pods, die GPU-Fabric, die diese Seite beschreibt, aufgebaut aus Rail-, Leaf-, Spine- und Clos-Ebenen über Ethernet. Ein Kollektiv nutzt zuerst Scale-up innerhalb der Domäne, dann transportiert die Scale-out-GPU-Fabric den Rest zwischen Servern.
Welche Topologie verwendet eine GPU-Fabric?
Most GPU fabrics use a rail-optimized leaf-spine design: each of a GPU server's 8 NICs connects to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf. As the cluster grows past a single pod, the same rail-optimized design adds a super-spine tier. On Tomahawk 5, a 2-tier fabric reaches 4,096 GPUs bei 800G pro GPU, 1:1 nicht blockierend; darüber hinaus skaliert eine dritte Ebene auf bis zu 16,384 GPUs. See the rail-optimized network and AI fabric topologies pages.
Muss eine GPU-Fabric verlustfrei sein?
Ja, auf der GPU-Ebene. GPUs bewegen Daten mit RDMA über RoCEv2, das bei Paketverlust schlecht funktioniert, daher ist die GPU-Fabric verlustfrei mit Priority Flow Control und ECN ausgelegt und wird mit dynamischem Load-Balancing gleichmäßig ausgelastet gehalten. Dieses No-Drop-Verhalten verhindert, dass ein Kollektiv ins Stocken gerät. OcNOS-DC stellt PFC, ECN, Dynamic ECN und DLB auf Broadcom Tomahawk 5 für genau dies bereit.

Tiefer einsteigen. Zum Mitnehmen.

Zwei kurze, technische Downloads, die weiter gehen als diese Seite: das vollständige OcNOS-DC-Datenblatt und die verlustfreie 800G-AI-Fabric-Architektur.

Datenblatt

OcNOS-DC-Datenblatt

Vollständige OcNOS-DC-Spezifikation: Funktionsumfang für EVPN-VXLAN und Ethernet for AI, Software-SKUs, unterstützte Hardware-Plattformen und der Solution Ordering Guide.

Datenblatt abrufen
Solution Brief

OcNOS: verlustfreie 800G-AI-Fabric

Verlustfreie RoCEv2-Fabric auf Tomahawk-5-Spines: SKU-Stufen, qualifizierte Plattformen und Deployment-Architektur.

Brief anfordern

Bauen Sie eine GPU-Fabric auf? Dimensionieren wir die Ebene gemeinsam.

Nennen Sie uns die GPU-Anzahl und den Workload, und ein IP Infusion-Ingenieur führt die Port-Berechnung gemeinsam mit Ihnen durch, oder beginnen Sie mit einem ersten rail-optimierten Entwurf in der AI Fabric Design Suite.

Architektur-Review vereinbaren Die AI Fabric Design Suite öffnen

Die gesamte AI-Fabric mit OcNOS entwerfen

Vom Business Case bis zur Portanzahl-Berechnung: Steigen Sie dort ein, wo Sie beim Aufbau gerade stehen.

Lösung Offene AI-Fabric Die komplette 800G-AI-Fabric: offene Switches, OcNOS-DC und Support aus einem Vertrag. Referenzdesigns AI-Fabric-Topologien Rail-optimierte zwei- und dreistufige Fabrics sowie kohärentes DCI, dimensioniert in realen Port-Zahlen. Dimensionierung & Aufbau AI Fabric Design Suite Dimensionieren Sie eine GPU-Fabric: Leaf-, Spine- und Super-Spine-Anzahl mit einer Übersicht zu Komponenten und Leistungsaufnahme.
Neu bei AI-Fabrics? Hier starten Was ist eine AI-Fabric? Was ist eine GPU-Fabric? Was ist verlustfreies Ethernet? Was ist RDMA? AI-Networking-Switches
Die Technologie im Inneren Verlustfreies RoCEv2 Rail-optimiertes Netzwerk DLB GLB (7.1) Ultra Ethernet Tomahawk 6 mit 1.6T DCQCN PFC-Deadlock InfiniBand vs. Ethernet RoCE vs. InfiniBand AI-Fabric-Architektur Kohärentes DCI