ECN · CNP · RoCEv2

DCQCN: Quantized Congestion Control for RDMA

DCQCN sorgt dafür, dass eine RoCEv2-Fabric verlustfrei bleibt, ohne dauerhaft in PFC-Pause zu verharren. Der Switch markiert ECN frühzeitig, der Empfänger antwortet mit einem CNP, und der Sender quantisiert seine Rate, sodass Sender abbremsen, bevor Queues überlaufen. OcNOS-DC liefert Voreinstellungen, die für xCCL-Collective-Workloads (NCCL, RCCL, oneCCL) vorabgestimmt sind, und macht jeden Schwellenwert zugänglich für Fabrics, die davon abweichen müssen.

Bringen Sie uns Ihre Traces Die AI Fabric Design Suite öffnen
Closed loopECN-Markierung, CNP, Ratenreduzierung
Before PFCECN markiert vor der Pause
xCCLvorabgestimmte OcNOS-DC-Voreinstellungen
DC-PLUSOcNOS-DC-Lizenzstufe
Der Mechanismus

Der geschlossene DCQCN-Regelkreis

Sender-NIC, überlasteter Switch, Empfänger-NIC. Der WRED-ECN-Marker des Switches löst aus, bevor die Queue den PFC-Pause-Schwellenwert erreicht. Der Empfänger erzeugt ein Congestion Notification Packet (CNP); der Reaktionspunkt des Senders reduziert die Rate und fährt sie anschließend wieder hoch. Verlustfrei, kein PFC-Druck, schnelle Konvergenz.

DCQCN Closed-Loop-Congestion-Control Drei Boxen von links nach rechts: Sender-NIC (Reaction Point), überlasteter Switch mit WRED-ECN-Marker, Empfänger-NIC (Notification Point). Der Vorwärtspfeil zeigt ein Paket, das von links nach rechts fließt und vom Switch markiert wird. Der Rückwärtspfeil zeigt das CNP, das von rechts nach links zurück zum Sender wandert. Die Beschriftungen kennzeichnen die Schwellenwerte ECN K-min und K-max sowie den CNP-Feedback-Pfad. Daten + ECN-fähig ECN = CE (markiert) CNP: Congestion Notification Packet Sender-NICReaction Pointα-update · cut · ramp OcNOS-DC-SwitchWRED-ECN-MarkerK-min · K-max · P-max Empfänger-NICBenachrichtigungspunktCNP every 50 µs DCQCN · WRED MARKING · CNP FEEDBACK · QUANTIZED RATE LIMIT · LOSSLESS RoCEv2
Was es bewirkt

Die Aufgabe von DCQCN in einer AI-Fabric

RoCEv2 kennt zwei Wege, mit Überlastung umzugehen: PFC-Pause, ein Gegendruck, der sich Hop für Hop ausbreitet, und DCQCN, ein Ende-zu-Ende-Regelkreis für die Rate. PFC allein funktioniert, verlagert die Überlastung jedoch stromaufwärts und birgt das Risiko von Pause-Stürmen und Head-of-Line-Blocking. DCQCN wirkt vor PFC, indem es Pakete mit ECN markiert, bevor die Queue den Pause-Schwellenwert erreicht, sodass der Sender abbremst, bevor der Switch überhaupt eine Pause auslösen muss.

Gut umgesetzt, verbringen Sie den Großteil der Lebensdauer Ihrer Fabric allein mit DCQCN-Feedback, wobei PFC als Sicherheitsnetz dient. Schlecht umgesetzt, sind die ECN-Schwellenwerte nicht auf den PFC-Headroom abgestimmt, und Sie erhalten Pause-Stürme selbst bei konfiguriertem DCQCN. Das Tuning der Thresholds ist entscheidend, und OcNOS-DC veröffentlicht Default-Werte, die auf xCCL-Kollektivtraffic abgestimmt sind, und stellt zugleich jeden Parameter für Fabrics mit spezifischen Traffic-Mustern offen.

Reaction Point

Sender-NIC quantisiert seine Rate

Empfängt CNPs und durchläuft den DCQCN- α-Update, multiplikative Verringerung, additive Erhöhung -Regelkreis, um seine Senderate zu quantisieren.

Verlustfreie RoCEv2-Fabric
Congestion Point

Switch markiert ECN frühzeitig

Markiert ECN-fähige Pakete an CE mithilfe einer WRED-Kurve, sobald die Queue-Tiefe K-min überschreitet, wobei die Markierungswahrscheinlichkeit linear bis P-max bei K-max ansteigt.

PFC-Deadlock-Erkennung
Benachrichtigungspunkt

Empfänger antwortet mit einem CNP

Erzeugt für jeden markierten Flow ein CNP zurück an den Sender, ratenbegrenzt auf etwa eines pro 50 µs pro Flow.

Zwei Wege, mit Überlastung umzugehen

PFC-Pause und DCQCN im Vergleich

Beide halten RoCEv2 verlustfrei, wirken jedoch an unterschiedlichen Punkten. Das Tuning-Ziel ist, die Fabric im Betrieb überwiegend über DCQCN-Feedback zu steuern und PFC als Rückfallebene in Reserve zu halten.

Axis PFC-Pausebackstop DCQCNprimäre Steuerung
MechanismHop-für-Hop-Gegendruck, der sich stromaufwärts ausbreitet.Ende-zu-Ende-Regelkreis für die Rate vom Sender zum Empfänger.
AuslösepunktLöst aus, wenn die Queue den Pause-Schwellenwert erreicht.Markiert ECN, bevor die Queue den Pause-Schwellenwert erreicht.
FehlermodusBirgt das Risiko von Pause-Stürmen und Head-of-Line-Blocking.Der Sender bremst ab, bevor der Switch überhaupt eine Pause auslösen muss.
Rolle in der FabricNur Sicherheits-Rückfallebene, für den Fall, dass sich Puffer dennoch füllen.Primäre Steuerung während des überwiegenden Betriebs der Fabric.
EinsatzbereichAuf Link-Ebene, jeweils ein Hop.Ende-zu-Ende, vom Sender bis zum Empfänger.
In OcNOS-DC

Die DCQCN-Implementierung von OcNOS

xCCL-taugliche Voreinstellungen ab Werk, wobei jeder Schwellenwert als YANG-modellierter Pfad zugänglich ist, vor der Anwendung gegen den PFC-Headroom validiert und während des Bring-ups als Telemetrie zurückgestreamt wird.

WRED-Kurve

K-min, K-max, P-max

WRED ECN Marking pro Prioritätswarteschlange mit konfigurierbaren K-min- und K-max-Schwellenwerten sowie P-max-Markierungswahrscheinlichkeit. xCCL-Klasse-Cefaults sofort einsatzbereit; als YANG-Pfade für das Tuning verfügbar.

ECN in der Feature Matrix
Per-Priority

Unabhängig von PFC

Das ECN-Marking wird unabhängig von den PFC-Pause-Schwellenwerten konfiguriert. Eine Fehlausrichtung ist der häufigste DCQCN-Konfigurationsfehler. OcNOS validiert das Verhältnis zwischen K-max, Headroom und den Pause-Asserts, bevor es angewendet wird.

PFC-Deadlock-Erkennung
VXLAN-Aware

ECN über VXLAN

ECN-Bits bleiben durch VXLAN-Encap und -Decap erhalten, sodass DCQCN Ende-zu-Ende über ein EVPN-VXLAN-Overlay funktioniert, nicht nur auf dem Underlay.

AI-Fabric-Lösung
Telemetrie

ECN-Zähler pro Queue

gNMI-gestreamte Zähler für ECN-markierte Pakete pro Egress-Queue, Queue-Depth-Verteilung und CNP-Trigger-Raten. Closed-Loop-Tuning während des Cluster-Bring-up.

Diagnostics

Prüfen, bevor Sie sich festlegen

CLI-Plausibilitätsprüfung, dass K-min, K-max und PFC-Headroom mathematisch mit dem Pufferspeicher übereinstimmen, der der verlustfreien Priorität zugewiesen ist. Schnelles Fehlschlagen bei einer Fehlkonfiguration.

Qualifizierte Hardware
Einsatzbereich

DC-PLUS-Lizenzstufe

Teil des OcNOS-DC-PLUS-SKU. Dasselbe Image, derselbe Support, kein Add-on pro Feature erforderlich, um den verlustfreien RDMA-Stack zu aktivieren.

OcNOS-DC
Der Fehlermodus

Warum das wichtiger ist, als es klingt

Die meisten Support-Fälle nach dem Motto "RoCEv2 verhält sich nicht richtig" gehen auf eine falsche Abstimmung der DCQCN-Schwellenwerte zurück. Die beiden Enden des Fehlers wirken gegensätzlich, doch beide führen zu einer fehlerhaft abgestimmten Fabric.

  • ECN konfiguriert, markiert aber nie (K-min zu hoch): PFC trägt die gesamte Last der Überlastungssteuerung.
  • ECN markiert zu aggressiv (K-min zu niedrig): Sender reduzieren die Rate, bevor überhaupt eine reale Überlastung vorliegt.
  • OcNOS-DC liefert Voreinstellungen, die auf den meisten TH4- und TH5-Fabrics funktionieren; wo eine Fabric abweichen muss, ist jeder Parameter YANG-modelliert und überprüfbar.

Um die Leaf-Spine-Ebenen zu dimensionieren, auf denen diese Voreinstellungen laufen, nutzen Sie die AI-Fabric-Dimensionierungstool, oder sehen Sie sich die AI-Fabric-Topologien an, für die die Voreinstellungen abgestimmt sind.

Die Sichtweise von IP Infusion

DCQCN trägt die Last, PFC bleibt die Rückfallebene

Eine gesunde RoCEv2-Fabric läuft über ECN-Feedback und greift kaum auf PFC zurück. OcNOS-DC liefert diese Balance als Standard und hält jeden Schwellenwert griffbereit, wenn ein Workload einen anderen benötigt.

DCQCN trägt die Last

ECN-Markierung und CNP-Feedback bremsen Sender frühzeitig, sodass eine gesunde Fabric überwiegend über DCQCN läuft und selten die PFC-Pause erreicht.

DLB-adaptives Routing

Ab Werk für xCCL abgestimmt

OcNOS-DC liefert für xCCL-Collective-Traffic vorabgestimmte Voreinstellungen, sodass die meisten Fabrics auf TH4 und TH5 gut laufen, ohne dass ein Schwellenwert angepasst werden muss.

GLB: fabric-weit (7.1)

Jeder Parameter ist modelliert

K-min, K-max und P-max sind YANG-modelliert und überprüfbar, sodass Fabrics mit spezifischen Verkehrsmustern gefahrlos abweichen können.

Ultra Ethernet (UEC)
FAQ

DCQCN, beantwortet

Was ist DCQCN?
DCQCN (Data Center Quantized Congestion Notification) ist der Algorithmus zur Überlaststeuerung, der RoCEv2-RDMA-Datenverkehr auf Ethernet-basierten AI- und Storage-Fabrics verlustfrei hält. Er drosselt die Sender, bevor die Queues überlaufen, sodass GPU- und Storage-Flows Paketverluste und Stalls vermeiden.
Wie funktioniert DCQCN?
DCQCN arbeitet in einer geschlossenen Regelschleife: Ein Switch markiert Pakete mit ECN, sobald eine Queue ihren Schwellenwert überschreitet, der Empfänger sendet ein Congestion Notification Packet (CNP) an den Sender zurück, und der Sender senkt seine Senderate und erhöht sie anschließend allmählich wieder, sobald die Überlast abklingt.
Wie arbeiten DCQCN und PFC zusammen?
DCQCN ist die primäre Steuerung, PFC dient als letzte Absicherung. ECN-Markierung und CNP-Feedback bremsen die Sender frühzeitig, sodass Flows nur selten eine Pause auslösen. PFC greift erst, wenn sich die Puffer dennoch füllen, und verhindert so Verluste. Das Tuning zielt darauf ab, die Fabric unter ECN-Kontrolle und fern von anhaltenden PFC-Pausen zu halten.
Was sind die ECN-Schwellenwerte K-min und K-max in DCQCN?
K-min und K-max sind die Warteschlangen-Schwellenwerte, die das ECN-Marking steuern. Unterhalb von K-min werden keine Pakete markiert, oberhalb von K-max werden alle markiert. Dazwischen steigt die Markierungswahrscheinlichkeit auf ein festgelegtes Maximum, sodass die Congestion-Signalisierung mit dem Anwachsen der Warteschlange skaliert, statt abrupt einzusetzen.
Erfordert DCQCN RoCEv2?
Ja, DCQCN ist für RoCEv2-RDMA-Verkehr konzipiert und setzt voraus, dass RoCEv2-Endpunkte CNP-Feedback erzeugen und entsprechend darauf reagieren. Es kombiniert ECN im Netzwerk mit der Ratensteuerung an den RoCEv2-Sendern und ist damit die Standardwahl für die Congestion Control in RoCEv2-Fabrics.
Datenblatt und Solution Briefs

Gehen Sie tiefer. Nehmen Sie es mit.

Das Produktdatenblatt und kurze, technische Downloads, die über diese Seite hinausgehen.

Datenblatt

OcNOS-DC Datenblatt

Vollständige OcNOS-DC Spezifikation: Funktionsumfang für EVPN-VXLAN und Ethernet for AI, Software-SKUs, unterstützte Hardware-Plattformen und der Solution Ordering Guide.

Datasheet abrufen
Solution Brief

OcNOS 800G verlustfreie AI Fabric

Non-blocking RoCEv2-Fabric auf Broadcom Tomahawk 4/5 Spines: SKU-Stufen, validierte Plattformen und Deployment-Architektur.

Brief anfordern
Solution Brief

EVPN-VXLAN Rechenzentrums-Fabric

Carrier-Grade-Leaf-Spine-Rechenzentrums-Fabric: symmetrisches IRB, Type-2/Type-5-Routen und verteiltes Anycast-Gateway.

Brief anfordern

DCQCN für einen realen Workload abstimmen? Bringen Sie uns Ihre Traces

Senden Sie uns Ihre ECN-Zähler und Queue-Traces, und ein IP Infusion-Ingenieur stimmt Ihre Werte für K-min, K-max und PFC-Headroom ab, oder starten Sie mit einem ersten Leaf-Spine-Entwurf in der AI Fabric Design Suite.

Technische Demo anfordern Die AI Fabric Design Suite öffnen
AI-Fabric

Die gesamte KI-Fabric mit OcNOS entwerfen

Vom Business Case bis zur Portanzahl-Berechnung: Steigen Sie dort ein, wo Sie beim Aufbau gerade stehen.

Lösung Open AI Fabric Die komplette 800G-KI-Fabric: offene Switches, OcNOS-DC und Support aus einem Vertrag. Referenzdesigns AI-Fabric-Topologien Rail-optimiert, scheduled 3-stufiges Clos und kohärentes DCI, dimensioniert in realen Portanzahlen. Size & build AI Fabric Design Suite Dimensionieren Sie eine GPU-Fabric: Leaf-, Spine- und Super-Spine-Anzahl mit einer Komponenten- und Leistungsübersicht.
Neu bei AI-Fabrics? Hier starten Was ist ein AI-Fabric? Was ist ein GPU-Fabric? Was ist verlustfreies Ethernet? Was ist RDMA?
Die Technologie im Inneren RoCEv2 lossless Rail-optimiertes Netzwerk DLB-adaptives Routing GLB (7.1) Ultra Ethernet DCQCN PFC-Deadlock InfiniBand vs. Ethernet RoCE vs. InfiniBand KI-Fabric-Architektur Coherent DCI