PFC · ECN · DCQCN

Qu'est-ce que l'Ethernet sans perte ?

L'Ethernet sans perte est un Ethernet standard configuré de sorte qu'une classe de trafic choisie, généralement RDMA, ne soit pas perdue en cas de congestion. Le Priority Flow Control (PFC) met en pause une file d'attente de priorité spécifique avant qu'elle ne déborde, l'Explicit Congestion Notification (ECN) marque les paquets tôt pour que les émetteurs ralentissent, et DCQCN relie le marquage ECN du commutateur au contrôle de débit de la NIC. RoCEv2 a besoin de ce chemin sans perte, et OcNOS-DC fournit ces contrôles sur Broadcom Tomahawk 5.

Planifier une revue d'architecture Voir le fabric RoCEv2
No-dropClasse de trafic RDMA
3 controlsPFC · ECN · DCQCN
Tomahawk 5Pile sans perte OcNOS-DC
gNMItélémétrie en boucle fermée
Les trois contrôles

PFC, ECN et DCQCN, et comment ils se superposent

L'intention de conception est une échelle. ECN et DCQCN assurent le travail quotidien qui consiste à maintenir des files d'attente peu profondes pour que le trafic continue de circuler ; PFC n'intervient que lorsqu'une rafale les dépasse, en mettant une priorité en pause un instant plutôt qu'en perdant des paquets. Un fabric qui déclenche PFC en permanence a besoin d'un réglage de ses seuils ECN, pas de plus de PFC.

Le filet de sécurité

Priority Flow Control (PFC)

PFC met en pause une file d'attente de priorité saut par saut lorsque son buffer est sur le point de déborder, de sorte que rien n'est perdu. C'est un contrôle grossier et rapide, utilisé comme dernière ligne de défense plutôt que comme contrôle quotidien.

Protection contre les interblocages PFC
Le contrôle principal

Explicit Congestion Notification (ECN)

ECN marque les paquets dès qu'une file d'attente commence à se former. La NIC réceptrice signale à l'émetteur, qui réduit son débit avant même que la file d'attente ne se remplisse. Fin et continu, il assure le travail quotidien.

The loop

DCQCN

DCQCN lie le marquage ECN sur le commutateur au contrôle de débit sur la NIC. Le rôle du commutateur est le marquage ECN ; la NIC effectue l'ajustement du débit. Ensemble, ils maintiennent les files d'attente basses sans déclencher PFC.

Contrôle de débit DCQCN
Pourquoi RDMA en a besoin

Pourquoi RoCEv2 exige un chemin sans perte

RDMA a été conçu pour un transport sans perte. RoCEv2 transporte le RDMA sur UDP et IP afin qu'il puisse être routé à travers un data center, mais il hérite de cette faible tolérance à la perte : un seul paquet perdu force une reprise qui fait grimper la latence de queue et peut bloquer un collectif GPU, ce qui bloque toute l'étape d'entraînement.

Rendre le chemin Ethernet sans perte avec PFC et ECN donne à RoCEv2 le comportement pour lequel il a été conçu. C'est toute la raison d'être de l'Ethernet sans perte dans les fabrics IA, et c'est pourquoi un fabric GPU RoCEv2 en production fonctionne toujours sur un réseau configuré sans perte.

Sur du matériel ouvert

Ce que fournit OcNOS-DC

Sur les plateformes Broadcom Tomahawk 5, OcNOS-DC est le catalyseur de la pile sans perte complète, réglée en boucle fermée pendant la mise en service du cluster plutôt qu'estimée.

  • PFC, y compris PFC over L3 avec DCBX et LLDP, plus PFC Deadlock Detection and Recovery.
  • ECN et Dynamic ECN, avec Enhanced Transmission Selection (ETS) et WRED.
  • Réglage des buffers et hachage RTAG7 pour répartir les flux sur le fabric.
  • Compteurs de congestion et de files d'attente diffusés via la télémétrie gNMI et OpenConfig pour un réglage des seuils en boucle fermée.
Fabric RoCEv2 sans perte DCQCN Protection contre les interblocages PFC Qu'est-ce que RDMA Solution AI Fabric OcNOS-DC
FAQ

FAQ : Qu'est-ce que l'Ethernet sans perte

Qu'est-ce que l'Ethernet sans perte ?
L'Ethernet sans perte est un Ethernet standard configuré de sorte qu'une classe de trafic choisie, généralement RDMA, ne soit pas perdue lorsque le réseau devient congestionné. Cela est obtenu grâce au Priority Flow Control (PFC), qui met en pause une file d'attente de priorité spécifique avant que son buffer ne déborde, et à l'Explicit Congestion Notification (ECN), qui marque les paquets tôt pour que l'émetteur ralentisse avant qu'une file d'attente ne se remplisse. L'objectif est un chemin sans perte pour le trafic qui réagit mal à la perte, sans rendre l'ensemble du réseau sans perte.
Comment PFC, ECN et DCQCN fonctionnent-ils ensemble ?
Ils fonctionnent à des vitesses différentes. ECN est le contrôle principal, à grain fin : un commutateur marque les paquets lorsqu'une file d'attente commence à se former, et la NIC réceptrice signale à l'émetteur de réduire son débit. DCQCN est l'algorithme de bout en bout qui relie le marquage ECN sur le commutateur au contrôle de débit sur la NIC dans une boucle continue ; le rôle du commutateur dans DCQCN est le marquage ECN. PFC est le filet de sécurité rapide : lorsqu'une file d'attente est sur le point de déborder malgré tout, PFC met cette priorité en pause saut par saut afin que rien ne soit perdu pendant que ECN et DCQCN font effet. Les fabrics bien réglés s'appuient sur ECN et DCQCN et gardent PFC comme dernier recours.
Pourquoi RoCEv2 a-t-il besoin d'un Ethernet sans perte ?
RoCEv2 est du RDMA transporté sur UDP et IP. RDMA a été conçu pour un transport sans perte ; un paquet perdu force donc une reprise coûteuse en latence de queue et peut bloquer un collectif GPU. Rendre le chemin Ethernet sans perte avec PFC et ECN donne à RoCEv2 le comportement sans perte qu'il attend, raison pour laquelle un fabric GPU RoCEv2 en production fonctionne toujours sur un réseau configuré sans perte.
Quelles fonctionnalités sans perte OcNOS-DC prend-il en charge ?
Sur du matériel Broadcom Tomahawk 5, OcNOS-DC prend en charge PFC (y compris PFC over L3, avec DCBX et LLDP), ECN, Dynamic ECN, Enhanced Transmission Selection (ETS), WRED et PFC Deadlock Detection and Recovery, ainsi que le réglage des buffers et le hachage RTAG7. L'état de congestion et les compteurs de files d'attente sont diffusés via la télémétrie gNMI et OpenConfig pour un réglage en boucle fermée. Consultez les pages sur le deadlock PFC et DCQCN pour le détail de chacun.

Vous réglez un fabric sans perte ? Définissons les seuils ensemble

Indiquez-nous l'échelle GPU et les classes de trafic, et un ingénieur IP Infusion configurera PFC, ECN et DCQCN avec vous plutôt que de laisser les seuils au hasard.

Planifier une revue d'architecture Découvrir OcNOS-DC
Fabric IA

Concevez tout le fabric IA avec OcNOS

Du dossier économique au calcul du nombre de ports, reprenez où vous en êtes dans la construction.

Solution Fabric IA ouverte La fabric IA 800G complète : commutateurs ouverts, OcNOS-DC, et support sous un seul contrat. Designs de référence Topologies AI Fabric Rail-optimized, Clos 3 étages planifié, et DCI cohérent, dimensionnés en nombres de ports réels. Size & build AI Fabric Design Suite Dimensionnez un fabric GPU : nombres de leaf, spine et super-spine avec un récapitulatif des composants et de la consommation.
Nouveau dans les AI fabrics ? Commencez ici Qu'est-ce qu'un AI fabric ? Qu'est-ce qu'un GPU fabric ? Qu'est-ce que l'Ethernet sans perte ? Qu'est-ce que RDMA ?
La technologie à l'intérieur RoCEv2 lossless Réseau rail-optimized Routage adaptatif DLB GLB (7.1) Ultra Ethernet DCQCN blocage PFC InfiniBand contre Ethernet RoCE vs InfiniBand Architecture de fabric IA Coherent DCI
Fiche technique et notes de solution

Approfondissez. Emportez-le avec vous.

Deux téléchargements techniques et concis qui vont plus loin que cette page : la fiche technique complète OcNOS-DC et l'architecture de fabric IA 800G sans perte.

Fiche technique

Datasheet OcNOS-DC

Spécification complète OcNOS-DC : l'ensemble des fonctionnalités EVPN-VXLAN et Ethernet for AI, les SKU logiciels, les plateformes matérielles prises en charge et le guide de commande de la solution.

Obtenir la fiche technique
Solution brief

OcNOS 800G Fabric IA sans perte

Fabric RoCEv2 non bloquante sur des spines Broadcom Tomahawk 4/5 : niveaux de SKU, plateformes validées et architecture de déploiement.

Obtenir le brief