PFC-Deadlock-Erkennung & -Behebung
Ein PFC-Deadlock ist der eine Fehler, der eine verlustfreie Fabric unbegrenzt blockieren kann: eine zyklische Pufferabhängigkeit, bei der pausierte Prioritäts-Queues aufeinander warten. Die Deadlock-Erkennung und -Wiederherstellung von OcNOS-DC arbeitet pro Port und pro Priorität. Sie erkennt den Zyklus pausierter Queues und leert die Queue automatisch, bevor Jobs blockieren, auf Broadcom Tomahawk 3, 4 und 5, Trident 3 (X4, X5, X7) und Trident 4.
Ein Pausenzyklus mit 3 Switches
Drei Switches in einer zirkulären Abhängigkeit. Jeder ist an seiner verlustfreien Prioritäts-Queue pausiert und wartet darauf, dass der nächste Switch leert. Ohne Eingriff ist der Zyklus für immer stabil. Die OcNOS-Deadlock-Erkennung löst nach dem konfigurierten Timeout aus, leert Queue 3 auf Switch-A, und der Zyklus bricht zusammen.
Wie PFC einen Deadlock erzeugt
PFC macht RoCEv2 verlustfrei und verursacht auf einer wohlgeformten Topologie nie Probleme. Der Fehlerfall tritt nur auf, wenn sich auf einer Multi-Path-Fabric ein Zyklus pausierter Queues schließt.
PFC ist eine Hop-für-Hop-Pause: Ein Switch signalisiert seinem Upstream eine Pause, wenn seine verlustfreie Ingress-Queue über den Schwellenwert hinaus gefüllt ist, und der Upstream stellt das Senden ein. Auf einer Baumtopologie mit einer einzigen Flussrichtung ist das sicher. Auf einer Leaf-Spine-Fabric mit mehreren Pfaden kann ECMP-Rerouting um einen Link-Ausfall herum unter bestimmten Bedingungen einen zirkulären Pfad erzeugen, auf dem jeder Switch pausiert und auf den nächsten wartet. Diese zyklische Pufferabhängigkeit, pausierte Prioritäts-Queues, die aufeinander warten, ist ein PFC-Deadlock.
Sobald der Zyklus entsteht, ist er stabil: Es gibt genügend Puffer, um die pausierten Frames zu halten, das Routing-Protokoll geht davon aus, dass alles konvergiert ist, und PFC signalisiert auf jedem Switch weiterhin die Pause. Ohne Eingriff bleibt die betroffene verlustfreie Priorität unbegrenzt blockiert. Der RoCEv2-Traffic stoppt, xCCL-Kollektive (RCCL, oneCCL) laufen in ein Timeout, und der Trainingsjob gerät ins Stocken.
Die OcNOS-DC-Deadlock-Erkennung und -Wiederherstellung
Ein Timer pro Port und pro Priorität, der den Zyklus pausierter Queues erkennt und die betroffene Queue leert, bevor Jobs blockieren, und dann von selbst den normalen PFC-Betrieb wiederherstellt. Erkennung, Behebung und Wiederherstellung bilden das Kern-Trio; Tuning und Lizenzierung runden es ab.
Timer pro Port, pro Priorität
Ein Timer läuft pro Ingress-Port und pro verlustfreier Priorität. Wenn die Priorität durchgehend für die konfigurierte Erkennungsdauer pausiert ist, löst die Deadlock-Erkennung aus und die Wiederherstellung beginnt.
Automatisches Queue-Draining
Sobald die Erkennung auslöst, läuft die Wiederherstellung für die konfigurierte Wiederherstellungszeit. Standardmäßig wird der pausierte Datenverkehr weitergeleitet, sodass der Zyklus zusammenbricht. Ist die Wiederherstellungsaktion auf Verwerfen gesetzt, werden diese Frames verworfen, und die RDMA-NIC überträgt sie erneut.
Automatische Wiederherstellung nach Recovery
Nach dem konfigurierten Restore-Intervall wird der normale PFC-Betrieb auf der betroffenen Priority wieder aufgenommen. Kein Eingreifen durch den Operator erforderlich.
Vom Betreiber konfigurierbare Timer
Detektionsmultiplikator, Zeitgranularität und Recovery-Zeit sind per CLI pro Interface konfigurierbar. Der Betreiber kann die Timer auf kritischen Clustern verkürzen.
DC-PLUS-Lizenzstufe
Teil der OcNOS-DC PLUS SKUs. Unterstützt auf Broadcom Tomahawk 3-, Tomahawk 4-, Tomahawk 5-, Trident 3- (X4, X5, X7) und Trident 4-Plattformen.
Die Deadlock-Wiederherstellung ist ein Sicherheitsnetz unter dem übrigen verlustfreien Stack
Der beste Deadlock ist der, der nie entsteht. Congestion Control, der verlustfreie Transport, den sie schützt, und dynamisches Load Balancing halten Queues von vornherein unterhalb des Pausen-Schwellenwerts; die Deadlock-Wiederherstellung ist die letzte Instanz, wenn sie es nicht tun.
Überlastungssteuerung
DCQCN auf den NICs bremst Sender, sobald der Switch Pakete mit ECN markiert, bevor Ingress-Queues den PFC-Schwellenwert erreichen, sodass Pausen weitaus seltener signalisiert werden und Zyklen selten die Chance erhalten, sich zu schließen.
Verlustfreier Transport
RoCEv2 ist der RDMA-Transport, zu dessen Schutz PFC existiert. Die Deadlock-Wiederherstellung macht den verlustfreien RoCEv2-Betrieb im großen Maßstab sicher, statt theoretisch riskant.
Dynamisches Load Balancing
DLB bindet Flowlets von überlasteten Uplinks weg und verteilt die Last, sodass Ingress-Queues seltener den Schwellenwert erreichen, der eine Pause auslöst.
Selten bedeutet nicht nie, und genau darum geht es
In einem gut konzipierten Fabric mit ordentlicher Topologie und ordentlichem Routing sind PFC-Deadlocks selten. Die Deadlock-Wiederherstellung ist wichtig, weil die Bedingungen trotzdem eintreten können.
Was ihn auslöst
Ein Link-Ausfall während eines Routing-Konvergenzfensters, eine Fehlkonfiguration der PFC-Prioritäten an einem einzelnen Port oder ein vorübergehendes Überlastungsereignis bei einem ungewöhnlichen Verkehrsmuster können jeweils die Bedingungen schaffen.
Ohne Deadlock-Wiederherstellung
Wenn sich doch ein Deadlock bildet, stoppt der AI-Cluster, und das Betriebsteam jagt einer Blockade nach, die das Routing-Protokoll als fehlerfrei meldet.
Mit Deadlock-Wiederherstellung
Sie erhalten einen kurzen Retransmission-Burst und ein protokolliertes Ereignis statt eines blockierten Jobs. Legen Sie die Topologie und die Switch-Ebenen, die Deadlocks selten halten, mit dem AI Fabric Sizing Tool aus.
Warum die Deadlock-Wiederherstellung PFC für den Einsatz im großen Maßstab sicher macht
Er verwandelt den einen theoretischen Einwand gegen verlustfreies Ethernet in ein protokolliertes, sich selbst auflösendes Ereignis.
- Verlustfreies Sicherheitsnetz. Die Deadlock-Wiederherstellung ist der Unterschied zwischen "PFC ist auf produktiven AI-Fabrics theoretisch riskant" und "PFC lässt sich sicher im großen Maßstab betreiben".
- Automatische Wiederherstellung. Die Wiederherstellung läuft für die konfigurierte Wiederherstellungszeit, danach wird der normale PFC-Betrieb fortgesetzt. Standardmäßig wird der pausierte Datenverkehr weitergeleitet statt verworfen.
- Konfiguration pro Interface. Die Deadlock-Erkennung und -Wiederherstellung wird auf jedem Interface aktiviert, das verlustfreien Datenverkehr führt, zusammen mit ihren Timern für Erkennung und Wiederherstellung.
- Abstimmbar je nach Anforderung. Senken Sie die Timer auf kritischen Trainingsclustern. Siehe PFC in der Feature-Matrix und die Liste qualifizierter Hardware.
PFC-Deadlock, erklärt
Wodurch entsteht ein PFC-Deadlock?
Wie funktioniert die PFC-Deadlock-Wiederherstellung von OcNOS?
Verwirft die Deadlock-Wiederherstellung Datenverkehr?
Ist die PFC-Deadlock-Erkennung standardmäßig aktiviert?
Tiefer einsteigen. Zum Mitnehmen.
Das Produktdatenblatt und kurze, technische Downloads, die über diese Seite hinausgehen.
OcNOS-DC-Datenblatt
Vollständige OcNOS-DC-Spezifikation: Funktionsumfang für EVPN-VXLAN und Ethernet for AI, Software-SKUs, unterstützte Hardware-Plattformen und der Solution Ordering Guide.
Datenblatt abrufen
OcNOS: verlustfreie 800G-AI-Fabric
Verlustfreie RoCEv2-Fabric auf Tomahawk-5-Spines: SKU-Stufen, qualifizierte Plattformen und Deployment-Architektur.
Brief anfordern
EVPN-VXLAN-Data-Center-Fabric
Leaf-Spine-Rechenzentrums-Fabric auf EVPN-VXLAN: eine VRF und VNIs pro Mandant, EVPN-Multihoming, BGP unnumbered und Route-Target-Filterung.
Brief anfordernOcNOS-DC-Datenblatt
Kurzes Formular. Ihr PDF öffnet sich unmittelbar nach dem Absenden in einem neuen Tab.
✓ Ihr PDF wird in einem neuen Tab geöffnet…
Falls es sich nicht geöffnet hat, nutzen Sie den untenstehenden Link.
OcNOS: verlustfreie 800G-AI-Fabric
Kurzes Formular. Ihr PDF öffnet sich unmittelbar nach dem Absenden in einem neuen Tab.
✓ Ihr PDF wird in einem neuen Tab geöffnet…
Falls es sich nicht geöffnet hat, nutzen Sie den untenstehenden Link.
EVPN-VXLAN-Data-Center-Fabric
Kurzes Formular. Ihr PDF öffnet sich unmittelbar nach dem Absenden in einem neuen Tab.
✓ Ihr PDF wird in einem neuen Tab geöffnet…
Falls es sich nicht geöffnet hat, nutzen Sie den untenstehenden Link.
Die gesamte AI-Fabric mit OcNOS entwerfen
Vom Business Case bis zur Portanzahl-Berechnung: Steigen Sie dort ein, wo Sie beim Aufbau gerade stehen.
Sie validieren das verlustfreie Verhalten einer neuen Fabric? Beginnen Sie mit der Deadlock-Wiederherstellung
Nennen Sie uns den Workload und die GPU-Größenordnung, und ein IP Infusion Engineer prüft gemeinsam mit Ihnen Ihr verlustfreies Design, oder beginnen Sie mit einem ersten Leaf-Spine-Entwurf in der AI Fabric Design Suite.