Verlustfreie 800G-Ethernet-Fabrics für GPU-Cluster

OcNOS AI Fabric ist die vollständige AI-Fabric von IP Infusion: OcNOS-DC vorinstalliert auf qualifizierten 800G- und 400G-Switches mit Broadcom Tomahawk von Edgecore oder UfiSpace, mit verlustfreiem RoCEv2, dynamischem Load Balancing sowie Erkennung und Behebung von PFC-Deadlocks, unter einem Supportvertrag. NICs und GPUs wählen Sie weiterhin selbst.

900+Betreiber setzen OcNOS ein
60+Länder
18qualifizierte OcNOS-DC-Switches
Rail-optimierte AI-Fabric, Live-AnsichtZwei Tomahawk-5-Spines sind mit vier Rail-Leaves verbunden. Jeder GPU-Server bindet je eine NIC an jedes Rail-Leaf an. Traffic innerhalb einer Rail bleibt auf ihrem Leaf; Traffic zwischen Rails läuft über ein Spine.SpinesRail-LeavesGPU-ServerTomahawk 5 · 800G
Jede GPU-NIC nutzt ihre eigene Rail. Traffic innerhalb einer Rail bleibt auf ihrem Leaf; Traffic zwischen Rails läuft über ein Spine.
Am besten geeignet für
Teams, die GPU-Cluster auf verlustfreiem 800G- oder 400G-Ethernet aufbauen, mit NICs und GPUs ihrer Wahl.
Qualifiziert auf
Edgecore AIS800-64DUfiSpace S9321-64EEdgecore AS9736-64D

Was eine GPU-Fabric leisten muss

Eine AI-Fabric ist das Ethernet-Netzwerk, das GPU-Server verbindet. Sie muss RoCEv2-Traffic verlustfrei transportieren und jeden Link auslasten, denn ein einziges verworfenes Paket hält eine Collective-Operation an, während die NIC es erneut sendet, und ein einziger überlasteter Link bremst den gesamten Trainingsjob.

Drei Traffic-Muster bremsen Trainingsjobs aus. OcNOS-DC hat für jedes eine Lösung.

Gleicher Traffic, dieselben vier Uplinks. Es ändert sich nur, wie die Flows verteilt werden.

Uplink 1
Uplink 2
Uplink 3
Uplink 4

Statisches ECMP legt jeden großen Flow per Hash auf einen Uplink fest, sodass zwei Uplinks überlastet sind, während zwei nahezu ungenutzt bleiben.

Schematische Darstellung.

Alle GPUs senden gleichzeitig
Statisches ECMP legt große Flows auf einen Uplink fest, sodass einige Links überlastet sind, während andere ungenutzt bleiben.
→ DLB verschiebt Flowlets von überlasteten Uplinks auf weniger belastete Pfade.
So funktioniert DLB →
Bursts treffen einen Port
Viele Sender erreichen innerhalb von Mikrosekunden denselben Port.
→ ECN-Markierung signalisiert DCQCN-fähigen NICs, ihre Senderate zu drosseln, bevor die Puffer volllaufen.
→ PFC-Deadlock-Erkennung und -Behebung löst eine blockierte Queue selbstständig auf.
So funktioniert DCQCN →
Ein Paketverlust hält den Job an
Die NIC muss verlorene Daten erneut senden, daher hält ein einziger Paketverlust die Collective-Operation an.
→ PFC und ECN halten RoCEv2-Traffic verlustfrei.
So funktioniert RoCEv2 →

GLB, verfügbar ab OcNOS 7.1, wird die Last über die gesamte Fabric verteilen. Mehr zu GLB →

Jede GPU-NIC auf ihrer eigenen Rail

Jeder GPU-Server bindet je eine NIC an jedes der acht Rail-Leaves an. AllReduce innerhalb einer Rail bleibt auf ihrem Leaf; nur Traffic zwischen Rails erreicht die 800G-Tomahawk-5-Spines. Pods skalieren auf denselben Switches.

Rail-optimierte AI-Fabric-Topologie: vier 800G-Tomahawk-5-Spines über acht Rail-Leaves, wobei vier GPU-Server jeweils einen ihrer acht NICs einem anderen Rail-Leaf zuordnen, sodass AllReduce innerhalb eines Rails auf einem Leaf bleibt.
Rail-optimierter Single Pod: Die 8 NICs jedes GPU-Servers sind je einer pro Rail auf 8 dedizierte Leaves abgebildet, sodass AllReduce innerhalb eines Rails auf dem Leaf bleibt und nur Rail-übergreifender Traffic den Spine erreicht.

Eine rail-optimierte Fabric für 1.024 GPUs, Switch für Switch durchgerechnet: Port-Rechnung, Komponentenzahlen, Skalierung auf 4.096 GPUs und darüber hinaus, Plattformen und OcNOS-DC-Editionen sowie ein verlustfreies RoCEv2-Startprofil.

Technische Übersicht

Was OcNOS-DC in der Fabric ausführt. Folgen Sie einem Link für die Detailanalyse.

Stand OcNOS-DC 7.0. Quellen, geprüft im Oktober 2026: die OcNOS-Feature-Matrix (Rechenzentrumsplattformen), die Hardware-Kompatibilitätsliste und das AI-Fabric-Referenzdesign.

Technische Übersicht der OcNOS-DC AI-Fabric
Bereich OcNOS-DC Detailanalyse
Silizium OcNOS AI Fabric unterstützt heute Broadcom Tomahawk 5 und Tomahawk 4 für AI-Leaves und -Spines. Die Unterstützung für Tomahawk 6 ist für OcNOS 7.2 geplant.Quellen: Hardware-Kompatibilitätsliste, Tomahawk-6-Seite
Verlustfreier Transport RoCEv2 mit PFC pro Priorität, ECN-Markierung und ETS. PFC over L3 über geroutete Grenzen hinweg.Quelle: Feature-Matrix (PFC with QoS, PFC over L3, ECN, ETS)
Überlastungssteuerung ECN-Markierung für DCQCN-fähige NICs, mit Dynamic ECN auf Tomahawk 5. Tuning des Paketpuffers im Switch.Quelle: Feature-Matrix (ECN, Dynamic ECN, Switch-Paketpuffer-Tuning)
Lastverteilung Dynamisches Load Balancing (DLB) auf Tomahawk 4 und 5, mit RoCEv2-Hashing nach Ziel-QP, sowie Reactive Path Rebalance auf Tomahawk 5. GLB, verfügbar ab OcNOS 7.1, erweitert dies auf die gesamte Fabric.Quellen: Feature-Matrix (DLB, DLB Reactive Path Rebalance), OcNOS-DC System Management Guide, GLB-Seite
Deadlock-Schutz Erkennung und Behebung von PFC-Deadlocks.Quelle: Feature-Matrix (Erkennung und Behebung von PFC-Deadlocks)
Server-Einstellungen DCBX tauscht PFC- und ETS-Einstellungen über LLDP mit dem Link-Partner aus.Quelle: Feature-Matrix (DCBX, DCBX für PFC over L3)
Telemetrie gNMI-Streaming über OpenConfig-Modelle: On-Change, Dial-in und Dial-out.Quelle: Feature-Matrix (gNMI Dial-in, Dial-out und On-Change, OpenConfig-Modelle)
Automatisierung ZTP über IPv4 und IPv6. Ansible-Playbooks von Day 0 bis Day 2. IP Maestro über NETCONF.Quelle: Feature-Matrix (ZTP über IPv4 und IPv6, Ansible, NETCONF)
AI-Agenten gNMI-Telemetrie, NETCONF mit YANG-Modellen und commit confirmed mit automatischem Zurücksetzen, sodass AI-Agenten und AIOps-Tools die Fabric lesen, ändern und zurückrollen können.Quelle: Feature-Matrix (NETCONF Confirmed Commit, CLI Commit Confirmed)
Topologien Rail-only, Rail-optimiert zweistufig und Rail-optimiert dreistufig.Quelle: AI-Fabric-Referenzdesign, Oktober 2026
Skalieren Zwei Stufen bis 4.096 GPUs mit 800G pro GPU auf Tomahawk 5. Drei Stufen bis 16.384 GPUs. Reference-design ceilings from Clos radix math, not measured figures.Quelle: AI-Fabric-Referenzdesign, Oktober 2026
Ultra Ethernet IP Infusion ist Mitglied des Ultra Ethernet Consortium.Quelle: Ultra-Ethernet-Seite

Scale-across: ein GPU-Cluster in mehreren Gebäuden

Große GPU-Cluster brauchen heute mehr Strom, als ein einzelnes Gebäude liefern kann. Betreiber verbinden deshalb die Fabrics mehrerer Gebäude und Standorte zu einem Cluster. OcNOS-DC betreibt die Spines an jedem Standort, OcNOS-SP die Deep-Buffer-Router zwischen den Regionen.

Coherent-Optiken im Spine-Port

Auf den qualifizierten Tomahawk-4- und Trident-4-Switches unterstützt OcNOS-DC 400G ZR/ZR+. Auf den Tomahawk-5-Modellen Edgecore AIS800-64D und UfiSpace S9321-64E unterstützt es 800G ZR/ZR+. Der Spine verbindet sich direkt mit dem OLS / ROADM, ohne Transponder- oder Muxponder-Shelves.

So funktioniert Coherent DCI

Überlastsignale auf gerouteten Links

ECN-Markierung läuft auf gerouteten Schnittstellen aller 18 qualifizierten OcNOS-DC-Switches, sodass DCQCN-fähige NICs Überlast auch auf gerouteten Links zwischen Gebäuden erkennen. BFD auf BGP-Sessions erkennt Pfadausfälle.

So funktioniert DCQCN

Deep-Buffer-Router zwischen Regionen

Zwischen Regionen läuft OcNOS-SP auf Deep-Buffer-Routern mit Jericho 2C+ und Qumran 2C, mit SR-MPLS, EVPN und BGP. Sieben OcNOS-SP-Router unterstützen 400G ZR/ZR+.

ZR-Unterstützung nach Plattform ansehen

Was OcNOS AI Fabric nicht abdeckt

Diese Grenzen helfen Ihnen, den Rest des Clusters zu planen.

InfiniBand
Es ist eine Ethernet-Fabric. InfiniBand wird nicht geswitcht.
Kollektive Operationen
Sie übernimmt die Switch-Seite. Die Collective Library (xCCL: NCCL, RCCL oder oneCCL) und der RDMA-Endpunkt laufen auf NIC und Host. Der Cluster-Scheduler platziert die Jobs.
Scale-up
Sie verbindet Server. GPU-zu-GPU-Links innerhalb eines Servers oder Racks (Scale-up-Links) liegen außerhalb der Fabric.
Ultra Ethernet
Sie läuft heute mit RoCEv2. Der Ultra-Ethernet-Transport läuft auf UEC-fähigen NICs. IP Infusion ist Mitglied des Ultra Ethernet Consortium.
Tomahawk 6 und GLB
Tomahawk 6 wird noch nicht unterstützt. Die Unterstützung in OcNOS-DC ist für OcNOS 7.2 geplant. GLB kommt mit OcNOS 7.1.
Nur Tomahawk 5
Dynamic ECN und Reactive Path Rebalance laufen nur auf Tomahawk-5-Switches.
GPU-Anzahlen
Die GPU-Anzahlen auf dieser Seite sind Obergrenzen der Referenzdesigns aus der Clos-Radix-Rechnung, keine Messwerte. Optiken und Kabel auf der GPU-Seite sind nicht mitgezählt.

Passend zu Ihrer GPU-Anzahl dimensionieren

Wählen Sie eine Cluster-Größe und sehen Sie, welche Fabric dafür nötig ist. Dimensionieren Sie anschließend Ihre eigene in der Design Suite, einschließlich der Anzahl von Links, Transceivern und Kabeln.

SpinesRail-LeavesGPU-Server123456781234567812345678123456781-3233-6465-9697-128
Ein rail-optimierter Pod für 1.024 GPUs auf Broadcom Tomahawk 5 nutzt 32 Leaf- und 16 Spine-Switches, insgesamt 48 Switches, in einem 1:1-Design ohne Blockierung. Jeder Leaf nimmt von jedem der 32 Server eine NIC auf, sodass Traffic auf derselben Rail auf dem Leaf bleibt. Dies sind Werte des Referenzdesigns aus der Clos-Radix-Rechnung, keine Messwerte.
  • 16 Spines mit je 64 × 800G.
  • 32 Leaves mit je 32 × 800G nach unten, aufgeteilt in 2 × 400G pro GPU, und 32 × 800G nach oben.
  • 128 Server mit je 8 GPUs und 8 NICs.

1.024 GPUs

32
Leaves
16
Spines
48
Switches

Zwei Stufen

Rail-optimierte Referenzdesigns auf Tomahawk 5. Die GPU-Anzahlen sind Obergrenzen der Referenzdesigns aus der Clos-Radix-Rechnung, keine Messwerte.

Qualifizierte 800G- und 400G-Switches

Tomahawk-5-Leaf- und -Spine-Switches sowie ein Tomahawk-4-Leaf-Switch von Edgecore und UfiSpace.

800G-Spine-Switch Edgecore AIS800-64D

Edgecore AIS800-64D

64 x 800G · 51.2 Tbps

QSFP-DD800 · Breakout auf 2x400G / 4x200G / 8x100G

Leaf oder Spine · Tomahawk 5
Datenblatt →
800G-Spine-Switch UfiSpace S9321-64E

UfiSpace S9321-64E

64 x 800G · 51.2 Tbps

QSFP-DD800 · Breakout auf 2x400G / 4x200G / 8x100G

Leaf oder Spine · Tomahawk 5
Datenblatt →
400G-Leaf-Switch Edgecore AS9736-64D

Edgecore AS9736-64D

64 x 400G · 25.6 Tbps

QSFP56-DD 400G · Breakout auf 4x100G

Leaf · Tomahawk 4
Datenblatt →

Alle 18 qualifizierten OcNOS-DC-Switches ansehen →

Ein System, ein Vertrag

Ein Supportweg

OcNOS-DC vorinstalliert und qualifiziert pro Switch-Modell und ASIC-Stepping. Eine Bestellung (PO), ein Supportvertrag, ein RMA-Weg. P1-Reaktionszeit von 8 Stunden (Standard) bis 30 Minuten (Enterprise).

Support-Details ansehen

Eine Konsole für die gesamte Flotte

IP Maestro verwaltet Topologie, Störungen, Konfiguration und Software-Images über NETCONF, unterhalb Ihres OSS.

IP Maestro erkunden

Optiken mit erprobter Multi-Vendor-Interoperabilität

Optiken mehrerer Anbieter haben ihre Interoperabilität nachgewiesen. Fragen Sie uns nach der Transceiver-Liste für Ihren Aufbau.

Transceiver-Liste anfragen

Bringen Sie das Design zu Ihrem Team

Kurze PDFs. Ein kurzes Formular, dann startet der Download.

Verlustfreie 800G-AI-Fabric

OcNOS-DC-Editionen, qualifizierte Plattformen und Deployment-Architektur.

Brief anfordern

OcNOS-DC-Datenblatt

Funktionsumfang, Software-SKUs und unterstützte Hardware.

Datenblatt abrufen

Häufig gestellte Fragen

Können AI-Agenten und AIOps-Tools eine OcNOS-AI-Fabric betreiben?
Ja. Jeder qualifizierte OcNOS-DC-Switch stellt NETCONF mit YANG-Modellen und commit confirmed mit automatischem Zurücksetzen bereit. gNMI-Streaming-Telemetrie ist in der PLUS-Edition verfügbar. Ein Agent kann den Fabric-Zustand lesen, eine Änderung auf Probe anwenden und OcNOS die Änderung rückgängig machen lassen, wenn sie nicht bestätigt wird. Die Feature-Matrix führt jede Edition und jeden Switch auf.
Welche AI-Fabric-Mechanismen laufen im OcNOS-DC-Switch?
OcNOS-DC implementiert die switchseitigen Mechanismen, auf die AI-Workloads angewiesen sind: verlustfreies RoCEv2 mit PFC und ECN, Dynamic ECN auf Tomahawk 5, dynamisches Load Balancing (DLB), Tuning des Switch-Paketpuffers sowie PFC-Deadlock-Erkennung und -Wiederherstellung. Kollektive Logik (xCCL), die NIC-Seite der Überlastkontrolle wie DCQCN und das Job-Scheduling laufen in der NIC und im Cluster-Scheduler, außerhalb des Switches.
Wo endet OcNOS-DC und wo übernehmen NIC und Cluster-Scheduler?
OcNOS-DC übernimmt die Switch-Seite: PFC und ECN für verlustfreies RoCEv2, dynamisches Load Balancing, PFC-Deadlock-Erkennung und -Wiederherstellung sowie gNMI-Streaming-Telemetrie. Die NIC führt die Collective Library (xCCL) und den RDMA-Endpunkt aus. Der Cluster-Scheduler platziert Jobs und kann die Switch-Telemetrie nutzen. Diese Trennung hält NIC, GPU und Orchestrierung austauschbar.
Was liefert IP Infusion für eine AI-Fabric?
Ein komplettes System: qualifizierte offene Switches mit vorinstalliertem OcNOS-DC, geliefert als OcNOS Systems unter einem Supportvertrag, aus derselben OcNOS-Familie, die Netze von Service Providern betreibt. OcNOS-DC läuft auf Broadcom-Silizium mit verlustfreiem RoCEv2 (PFC und ECN), dynamischem Load Balancing mit Reactive Path Rebalance auf Tomahawk 5 sowie PFC-Deadlock-Erkennung und -Wiederherstellung. Jeder Switch führt die OcNOS-DC-Edition aus, die zu seiner Rolle passt: DC-PLUS für den vollen AI-Fabric-Funktionsumfang, DC-IPBASE für die verlustfreien Grundlagen und DC-MGMT für das Out-of-Band-Management. NIC, GPU und Switch-Hersteller bleiben Ihre Wahl.
Was bedeutet Ultra Ethernet (UEC) 1.0 für OcNOS AI Fabric?
OcNOS-DC bietet verlustfreies RoCEv2 mit PFC und ECN sowie dynamisches Load Balancing bereits heute, und IP Infusion ist Mitglied des Ultra Ethernet Consortium (UEC). UEC 1.0 definiert einen Multipath-Ethernet-Transport, der einen Flow über viele Pfade verteilt, statt ihn auf einen einzigen ECMP-Hash festzulegen; dieses Endpunktverhalten läuft auf UEC-fähigen NICs. Um zu planen, wie UEC in einen bestimmten Aufbau passt, sprechen Sie mit einem Engineer von IP Infusion. Lesen Sie den Ultra-Ethernet-Deep-Dive.
Wie hält OcNOS-DC die Fabric verlustfrei, und was schützt vor PFC-Deadlocks?
Drei Mechanismen: PFC pausiert den Datenverkehr einer Priorität, bevor Puffer überlaufen, ECN markiert Pakete frühzeitig, damit Sender langsamer werden, und ETS weist der RDMA-Klasse Link-Bandbreite zu. Darüber erkennt die PFC-Deadlock-Erkennung und -Wiederherstellung eine Queue, die in einem Pause-Zyklus festhängt, und stellt sie wieder her, sodass sich ein blockierter Port ohne manuelles Zurücksetzen erholt. PFC über L3 wird über geroutete Grenzen hinweg unterstützt.
Was ist DLB, und was ändert sich mit GLB in OcNOS 7.1?
Bei AllReduce kollidieren Ihre größten Flows, wenn Standard-ECMP jeden von ihnen für seine gesamte Lebensdauer an einen einzigen Uplink bindet, und die Synchronisation wartet auf den überlasteten Link. DLB verlagert Flowlets heute am lokalen Hop von überlasteten Uplinks auf weniger ausgelastete Pfade, und Tomahawk 5 ergänzt Reactive Path Rebalance. GLB, kommend mit OcNOS 7.1, dehnt das Load Balancing auf die gesamte Fabric aus.
Welche Switch-Hardware und 800G-Optiken unterstützt OcNOS AI Fabric?
Die Fabric läuft auf qualifizierten Broadcom-Tomahawk-5- und Tomahawk-4-Switches von Edgecore und UfiSpace. Die 800G-Switches (Edgecore AIS800-64D und UfiSpace S9321-64E, Tomahawk 5, 64 x 800G QSFP-DD800, 51.2 Tbps) dienen als Leaf- und Spine-Switches und unterstützen Breakout auf 400G, 200G und 100G. Der 400G-Leaf (Edgecore AS9736-64D, Tomahawk 4, 64 x 400G QSFP56-DD, 25.6 Tbps) unterstützt Breakout auf 4 x 100G und passt zu Fabrics mit einer 400G-NIC je GPU. Optiken mehrerer Hersteller haben ihre Interoperabilität nachgewiesen; für die Transceiver-Liste Ihres Aufbaus sprechen Sie uns an. Die qualifizierten Switches sind in der HCL aufgeführt.
Kann eine OcNOS AI-Fabric mehrere Gebäude oder Standorte umspannen?
Ja. Coherent-Optiken für ZR/ZR+ stecken in den Spines, ECN-Markierung läuft auf den gerouteten Links zwischen Gebäuden, und OcNOS-SP läuft auf Deep-Buffer-Routern zwischen Regionen. Zum ausführlichen Beitrag über Coherent DCI.
Wer bietet Support für die AI-Fabric, und ist die Hardware ebenfalls abgedeckt?
Wird die Fabric als OcNOS Systems bezogen, deckt ein Vertrag von IP Infusion die OcNOS-DC-Software und die qualifizierte Switch-Hardware gemeinsam ab, sodass es ein TAC und ein SLA gibt. Der Support ist gestaffelt: Standard umfasst E-Mail-TAC, Telefon-Support zu Geschäftszeiten und die Koordination von Hardware-RMA mit 8 Stunden Reaktionszeit bei P1; Premium ergänzt ein 24/7-Kundensupport-Portal und 2 Stunden Reaktionszeit bei P1; Enterprise ergänzt 30 Minuten Reaktionszeit bei P1 und einen Customer Success Manager. Das 24/7-Portal steht für Premium und Enterprise zur Verfügung.

Planen Sie Ihre GPU-Fabric mit unseren Ingenieuren

Stellen Sie Ihre Designfragen einem IP Infusion Ingenieur, oder nehmen Sie das Referenzdesign mit zu Ihrem Team.