Startseite · Dokumentation · Technologie · Dynamic Load Balancing

Dynamic Load Balancing: Adaptive Routing für AI-Fabrics

Static-Hash-ECMP wurde für Nord-Süd-Webverkehr gebaut, nicht für GPU-Collectives. OcNOS Dynamic Load Balancing (DLB) bindet Flowlets in Sub-Millisekunden-Intervallen auf weniger überlastete Pfade um und schließt damit die Lücke zwischen Ethernet und InfiniBand für verteilte Training-Workloads.

Adaptive Routing auf einer Leaf-Spine-Fabric

Ein Slice aus 4 Spines und 2 Leaves, der GPU-AllReduce-Traffic überträgt. DLB misst die lokale Egress-Queue-Tiefe in Echtzeit. Wenn Spine-3 saturiert, verschiebt das Leaf das nächste Flowlet auf Spine-2 und hält so alle vier Uplinks ausbalanciert.

Dynamic Load Balancing über eine AI-Leaf-Spine-Fabric Eine AI-Fabric mit vier Spines und zwei Leaves. An die Leaves angebundene GPU-Server senden AllReduce-Flows. Drei Spine-Pfade tragen ausbalancierte Flowlets. Der vierte Spine ist überlastet (rot), und Dynamic Load Balancing verteilt das nächste Flowlet auf einen weniger ausgelasteten Spine. Das untere Band beschriftet die DLB-Metriken: Queue-Tiefe, Port-Auslastung, Flowlet-Rebind. Spine-3 überlastet → nächstes Flowlet auf Spine-2 umgebunden Spine-1 Queue 18 % Spine-2 Queue 22 % Spine-3 Queue 92 % Spine-4 Queue 25 % Leaf-1 DLB · Flowlet Leaf-2 DLB · Flowlet GPU-0 GPU-1 GPU-2 GPU-3 DLB · QUEUE-DEPTH FEEDBACK · FLOWLET REBIND · CONGESTION-AWARE ECMP

Warum statisches ECMP auf AI-Fabrics scheitert

Standard-ECMP wählt einen Ausgangsport, indem es das 5-Tuple beim Flow-Start hasht und den Flow für seine gesamte Lebensdauer dort fixiert. Bei Nord-Süd-Webverkehr, Millionen kurzlebiger Flows, glättet das Gesetz der großen Zahlen die Auslastung über alle Pfade. In einer AI-Fabric haben Sie eine kleine Anzahl von Elephant Flows aus GPU-Collectives (AllReduce, AllGather, All-to-All), die jeweils sekundenlang einen kompletten 400G- oder 800G-Uplink belegen. Zwei Elefanten, die auf denselben Uplink gehasht werden, kollidieren für die Dauer der Operation, während ein anderer Uplink ungenutzt bleibt.

The result is hash polarisation: measured fabric utilisation around 50-60% with random hot-spots, and tail-latency outliers that stall the entire training job. DLB closes this gap by re-evaluating the path decision on every flowlet, a sub-flow chunk delimited by a small inter-packet gap, using live egress queue-depth and port-utilisation telemetry from the ASIC. To size a leaf-spine fabric for your GPU cluster, use the AI-Fabric-Dimensionierungstool.

Die OcNOS-DLB-Implementierung

Flowlet-Erkennung

Gap-Timer im Sub-Millisekunden-Bereich

ASIC-native flowlet inactivity timer (typical 16-256 µs) splits long elephant flows into chunks safe to spray across paths without TCP/RoCEv2 reordering.

Pfadqualität

Live-Feedback zur Queue-Tiefe

DLB nutzt Signale zur Queue-Belegung pro Egress-Port und zur Link-Auslastung aus der Tomahawk-Pipeline, um jeden ECMP-Next-Hop in Echtzeit zu bewerten.

Re-bind

Adaptive Next-Hop-Auswahl

An der Flowlet-Grenze wird das Member mit der höchsten Qualität ausgewählt. Die Member-Qualität wird alle paar Mikrosekunden neu berechnet, sodass ein gesättigter Spine innerhalb eines Flowlets aus der Kandidatenmenge ausscheidet.

Lossless

Abgestimmt mit PFC & ECN

DLB ist in den verlustfreien RoCEv2-Stack integriert (PFC, ECN/DCQCN, Headroom-Berechnung), sodass das Flowlet-Rebinding erfolgt, bevor sich Pause-Frames upstream ausbreiten.

Telemetrie

gNMI-Export

Pro-Member-Rebind-Zähler, Flowlet-Gap-Verteilungen und Member-Quality-Scores werden über gNMI Dial-out gestreamt für eine Closed-Loop-Fabric-Abstimmung.

Hardware

TH4 / TH5 nativ

Validiert auf Broadcom Tomahawk 4 (25,6T) und Tomahawk 5 (51,2T) Spine-Plattformen, in 64×400G- und 64×800G-Port-Konfigurationen, ohne Software-Fast-Path-Einbußen.

Was DLB in produktiven AI-Fabrics leistet

  • Höhere Auslastung. Branchenweit veröffentlichte Flowlet-Rebalancing-Benchmarks bringen die Fabric-Auslastung von ~55% bei statischem ECMP in Richtung 90%+ auf derselben Hardware, ohne weitere Uplinks zu kaufen.
  • Niedrigere Tail-Latenz. Die P99.9-Collective-Completion-Time verbessert sich, weil kein einzelner Link gesättigt wird, während andere ungenutzt bleiben.
  • Schnelleres Training. Weniger GPU-Idle-Zeit beim Warten auf den langsamsten Rank bedeutet eine messbare Verbesserung der Wall-Clock-Zeit bei AllReduce-lastigen Workloads.
  • Keine NIC-Änderungen. DLB läuft im Switch-ASIC. Bestehende RoCEv2-NICs und xCCL-Collective-Stacks (NCCL / RCCL / oneCCL) sehen korrekte In-Order-Delivery ohne Code-Änderungen.
  • Eine Lizenz. DLB ist Teil der OcNOS-DC-PLUS-SKU: gleiches Image, gleicher Supportvertrag, kein Add-on pro Funktion.
Verlustfreie RoCEv2-Fabric GLB: Fabric-weites Load Balancing (7.1) Ultra Ethernet (UEC) AI-Fabric-Referenztopologien DLB in der Feature-Matrix Validierte 400G-/800G-Hardware OcNOS-DC AI-Fabric-Lösung

Optimieren Sie DLB für Ihre GPU-Fabric?

Technische Demo anfragen →
FAQ

Häufig gestellte Fragen

Was ist ein Flowlet und warum verwendet DLB es?
Ein Flowlet ist ein Teilfluss-Abschnitt, der durch eine kleine Lücke zwischen Paketen abgegrenzt wird. DLB bewertet den Pfad an jeder Flowlet-Grenze neu, anstatt einen gesamten Fluss festzulegen, sodass der Verkehr auf einen weniger ausgelasteten Uplink wechselt, ohne eine RoCEv2- oder TCP-Umsortierung auszulösen.
Worin unterscheidet sich DLB von statischem ECMP?
Statisches ECMP hasht das 5-Tuple zu Flussbeginn und bindet den Fluss für seine gesamte Lebensdauer, sodass zwei GPU-Elephant-Flows auf einem Uplink kollidieren können, während ein anderer ungenutzt bleibt. DLB bewertet jeden Next-Hop in Echtzeit anhand der aktuellen Queue-Tiefe und bindet Flowlets auf den besten Pfad um.
Erfordert DLB neue NICs oder Änderungen an meiner Collective-Bibliothek?
Nein. DLB läuft im Switch-ASIC, sodass vorhandene RoCEv2-NICs und xCCL-Collective-Stacks (NCCL, RCCL, oneCCL) eine korrekte In-Order-Zustellung ohne Codeänderungen erhalten.
Welche Hardware unterstützt OcNOS DLB?
DLB wird auf den Plattformen Broadcom Tomahawk 4 (25,6T) und Tomahawk 5 (51,2T) in 64x400G- und 64x800G-Konfigurationen unterstützt und ist im OcNOS-DC-PLUS-SKU ohne funktionsbezogenes Add-on enthalten.
Solution Briefs

Gehen Sie tiefer. Nehmen Sie es mit.

Zwei kurze, technische Downloads, die über diese Seite hinausgehen: die verlustfreie 800G-AI-Fabric-Architektur und die EVPN-VXLAN-Data-Center-Referenz.

Solution Brief

OcNOS 800G Lossless AI Fabric

Non-blocking RoCEv2-Fabric auf Broadcom Tomahawk 4/5 Spines: SKU-Stufen, validierte Plattformen und Deployment-Architektur.

Brief anfordern
Solution Brief

EVPN-VXLAN Rechenzentrums-Fabric

Carrier-Grade-Leaf-Spine-Data-Center-Fabric: symmetrisches IRB, Type-2/Type-5-Routen und verteiltes Anycast-Gateway.

Brief anfordern
AI-Fabric

Design the whole AI fabric with OcNOS

From the business case to the port-count maths, pick up wherever you are in the build.

Lösung Open AI Fabric The complete 800G AI fabric: open switches, OcNOS-DC, and support under one contract. Referenzdesigns AI-Fabric-Topologien Rail-optimized, scheduled 3-stage Clos, and coherent DCI, sized in real port counts. Size & build AI Fabric Design Suite Size a GPU fabric: leaf, spine, and super-spine counts with a component and power summary.
The technology inside RoCEv2 lossless DLB adaptive routing GLB (7.1) Ultra Ethernet DCQCN PFC-Deadlock InfiniBand vs. Ethernet Coherent DCI