PFC · ECN · DCQCN

Was ist verlustfreies Ethernet?

Verlustfreies Ethernet ist standardisiertes Ethernet, das so konfiguriert ist, dass eine ausgewählte Traffic-Klasse, typischerweise RDMA, bei Überlast nicht verworfen wird. Priority Flow Control (PFC) pausiert eine bestimmte Priority-Queue, bevor sie überläuft, Explicit Congestion Notification (ECN) markiert Pakete frühzeitig, sodass Sender drosseln, und DCQCN koppelt die ECN-Markierung im Switch an die Ratensteuerung der NIC. RoCEv2 benötigt diesen No-Drop-Pfad, und OcNOS-DC liefert diese Mechanismen auf Broadcom Tomahawk 5.

Architektur-Review vereinbaren Die RoCEv2-Fabric ansehen

No-dropRDMA-Traffic-Klasse

3 controlsPFC · ECN · DCQCN

Tomahawk 5OcNOS-DC verlustfreier Stack

gNMIClosed-Loop-Telemetrie

Die drei Mechanismen

PFC, ECN und DCQCN, und wie sie sich schichten

Die Design-Absicht ist eine Staffelung. ECN und DCQCN leisten die alltägliche Arbeit, Queues flach zu halten, damit der Traffic weiterfließt; PFC greift nur ein, wenn ein Burst sie überholt, und pausiert eine Priorität für einen Moment, statt zu verwerfen. Eine Fabric, die ständig PFC auslöst, benötigt abgestimmte ECN-Schwellenwerte, nicht mehr PFC.

Die Rückfallebene

Priority Flow Control (PFC)

PFC pausiert eine Priority-Queue Hop für Hop wenn ihr Puffer kurz vor dem Überlaufen steht, sodass nichts verworfen wird. Es ist grob und schnell und wird als letzte Verteidigungslinie statt als alltägliche Steuerung eingesetzt.

PFC-Deadlock-Schutz

Die primäre Steuerung

Explicit Congestion Notification (ECN)

ECN markiert Pakete, sobald sich eine Queue aufzubauen beginnt. Die empfangende NIC signalisiert dem Sender, der seine Rate senkt, bevor sich die Queue jemals füllt. Feingranular und kontinuierlich leistet es die alltägliche Arbeit.

The loop

DCQCN

DCQCN bindet die ECN-Markierung im Switch an die Ratensteuerung in der NIC. Die Rolle des Switches ist die ECN-Markierung; die NIC nimmt die Ratenanpassung vor. Gemeinsam halten sie Queues niedrig, ohne PFC auszulösen.

DCQCN-Ratensteuerung

Warum RDMA es benötigt

Warum RoCEv2 einen verlustfreien Pfad erfordert

RDMA wurde für einen No-Drop-Transport gebaut. RoCEv2 transportiert RDMA über UDP und IP, sodass es über ein Rechenzentrum geroutet werden kann, erbt jedoch diese geringe Verlusttoleranz: ein einzelnes verworfenes Paket erzwingt eine Wiederherstellung, welche die Tail-Latenz in die Höhe treibt und ein GPU-Kollektiv ins Stocken bringen kann, was den gesamten Trainingsschritt blockiert.

Den Ethernet-Pfad mit PFC und ECN verlustfrei zu machen, verleiht RoCEv2 das Verhalten, für das es konzipiert wurde. Das ist der gesamte Grund, warum verlustfreies Ethernet in KI-Fabrics existiert, und deshalb läuft eine produktive RoCEv2-GPU-Fabric immer auf einem verlustfrei konfigurierten Netzwerk.

Auf offener Hardware

Was OcNOS-DC liefert

Auf Broadcom Tomahawk 5-Plattformen ist OcNOS-DC der Enabler für den vollständigen verlustfreien Stack, in einer geschlossenen Regelschleife während der Cluster-Inbetriebnahme abgestimmt statt geraten.

PFC, einschließlich PFC über L3 mit DCBX und LLDP, plus PFC Deadlock Detection and Recovery.
ECN und Dynamic ECN, mit Enhanced Transmission Selection (ETS) und WRED.
Buffer-Tuning und RTAG7-Hashing, um Flows über die Fabric zu verteilen.
Congestion- und Queue-Zähler, über gNMI- und OpenConfig-Telemetrie gestreamt, für die Closed-Loop-Abstimmung von Schwellenwerten.