PFC · ECN · DCQCN

¿Qué es el Ethernet sin pérdidas?

El Ethernet sin pérdidas es Ethernet estándar configurado de modo que una clase de tráfico elegida, típicamente RDMA, no se descarta bajo congestión. El Priority Flow Control (PFC) pausa una cola de prioridad específica antes de que se desborde, la Explicit Congestion Notification (ECN) marca los paquetes de forma temprana para que los emisores reduzcan la velocidad, y DCQCN ata el marcado ECN del switch al control de tasa de la NIC. RoCEv2 necesita esta ruta sin descartes, y OcNOS-DC incluye estos controles sobre Broadcom Tomahawk 5.

No-dropclase de tráfico RDMA
3 controlsPFC · ECN · DCQCN
Tomahawk 5pila sin pérdidas de OcNOS-DC
gNMItelemetría en bucle cerrado
Los tres controles

PFC, ECN y DCQCN, y cómo se estratifican

La intención de diseño es una escalera. ECN y DCQCN hacen el trabajo cotidiano de mantener las colas poco profundas para que el tráfico siga fluyendo; PFC solo entra cuando una ráfaga los supera, pausando una prioridad por un momento en lugar de descartar. Una fabric que dispara PFC constantemente necesita ajustar sus umbrales ECN, no más PFC.

El respaldo

Priority Flow Control (PFC)

PFC pausa una cola de prioridad salto a salto cuando su búfer está a punto de desbordarse, de modo que nada se descarta. Es de grano grueso y rápido, usado como la última línea de defensa en lugar del control cotidiano.

El control primario

Explicit Congestion Notification (ECN)

ECN marca los paquetes a medida que una cola empieza a crecer. La NIC receptora avisa al emisor, que baja su tasa antes de que la cola se llene. De grano fino y continua, hace el trabajo cotidiano.

The loop

DCQCN

DCQCN ata el marcado ECN en el switch al control de tasa en la NIC. El rol del switch es el marcado ECN; la NIC hace el ajuste de tasa. Juntos mantienen las colas bajas sin disparar PFC.

Por qué RDMA lo necesita

Por qué RoCEv2 requiere una ruta sin pérdidas

RDMA se construyó para un transporte sin descartes. RoCEv2 transporta RDMA sobre UDP e IP para que pueda enrutarse a través de un centro de datos, pero hereda esa baja tolerancia a la pérdida: un único paquete descartado fuerza una recuperación que dispara la latencia de cola y puede estancar un colectivo de GPU, lo que estanca todo el paso de entrenamiento.

Hacer sin pérdidas la ruta Ethernet con PFC y ECN da a RoCEv2 el comportamiento para el que fue diseñado. Esa es toda la razón por la que el Ethernet sin pérdidas existe en las fabrics de IA, y es por lo que una fabric de GPU RoCEv2 de producción siempre corre sobre una red configurada sin pérdidas.

Sobre hardware abierto

Qué incluye OcNOS-DC

Sobre plataformas Broadcom Tomahawk 5, OcNOS-DC es el habilitador de la pila sin pérdidas completa, ajustada en un bucle cerrado durante la puesta en marcha del clúster en lugar de adivinada.

  • PFC, incluido PFC sobre L3 con DCBX y LLDP, más PFC Deadlock Detection and Recovery.
  • ECN y Dynamic ECN, con Enhanced Transmission Selection (ETS) y WRED.
  • Ajuste de búfer y hash RTAG7 para repartir los flujos por la fabric.
  • Contadores de congestión y de cola transmitidos sobre telemetría gNMI y OpenConfig para el ajuste de umbrales en bucle cerrado.
Preguntas frecuentes

Preguntas frecuentes sobre qué es el Ethernet sin pérdidas

¿Qué es Ethernet sin pérdidas?
El Ethernet sin pérdidas es Ethernet estándar configurado de modo que una clase de tráfico elegida, típicamente RDMA, no se descarta cuando la red se congestiona. Se logra con el Priority Flow Control (PFC), que pausa una cola de prioridad específica antes de que su búfer se desborde, y la Explicit Congestion Notification (ECN), que marca los paquetes de forma temprana para que el emisor reduzca la velocidad antes de que cualquier cola se llene. El objetivo es una ruta sin descartes para el tráfico que reacciona mal a la pérdida, sin convertir toda la red en sin descartes.
¿Cómo funcionan juntos PFC, ECN y DCQCN?
Operan a velocidades distintas. ECN es el control primario de grano fino: un switch marca los paquetes cuando una cola empieza a crecer, y la NIC receptora avisa al emisor para que reduzca su tasa. DCQCN es el algoritmo extremo a extremo que ata el marcado ECN en el switch al control de tasa en la NIC en un bucle continuo; el rol del switch en DCQCN es el marcado ECN. PFC es el respaldo rápido: cuando una cola está a punto de desbordarse de todos modos, PFC pausa esa prioridad salto a salto de modo que nada se descarta mientras ECN y DCQCN surten efecto. Las fabrics bien ajustadas se apoyan en ECN y DCQCN y mantienen PFC como último recurso.
¿Por qué necesita RoCEv2 Ethernet sin pérdidas?
RoCEv2 es RDMA transportado sobre UDP e IP. RDMA fue diseñado para un transporte sin descartes, de modo que un paquete descartado fuerza una recuperación que es costosa en latencia de cola y puede estancar un colectivo de GPU. Hacer sin pérdidas la ruta Ethernet con PFC y ECN da a RoCEv2 el comportamiento sin descartes que espera, y por eso una fabric de GPU RoCEv2 de producción siempre corre sobre una red configurada sin pérdidas.
¿Qué funcionalidades sin pérdidas soporta OcNOS-DC?
Sobre hardware Broadcom Tomahawk 5, OcNOS-DC soporta PFC (incluido PFC sobre L3, con DCBX y LLDP), ECN, Dynamic ECN, Enhanced Transmission Selection (ETS), WRED y PFC Deadlock Detection and Recovery, junto con el ajuste de búfer y el hash RTAG7. El estado de congestión y los contadores de cola se transmiten sobre telemetría gNMI y OpenConfig para el ajuste en bucle cerrado. Vea las páginas de deadlock de PFC y DCQCN para el detalle detrás de cada una.

¿Ajustando una fabric sin pérdidas? Hagamos los umbrales juntos

Díganos la escala de GPU y las clases de tráfico, y un ingeniero de IP Infusion configurará PFC, ECN y DCQCN con usted en lugar de dejar los umbrales a la adivinanza.