PFC · ECN · DCQCN

什么是无损以太网?

无损以太网是经过配置的标准以太网,使某一选定的流量类别(通常是 RDMA)在拥塞下不被丢弃。 优先级流控(PFC)在特定优先级队列溢出之前将其暂停,显式拥塞通知(ECN)提前标记数据包使发送端减速,DCQCN 则把交换机的 ECN 标记与 NIC 的速率控制绑定起来。RoCEv2 需要这条不丢包的路径,而 OcNOS-DC 在 Broadcom Tomahawk 5 上交付这些控制。

No-dropRDMA 流量类别
3 controlsPFC · ECN · DCQCN
Tomahawk 5OcNOS-DC 无损协议栈
gNMI闭环遥测
三项控制

PFC、ECN 和 DCQCN,及其如何分层

设计意图是一个梯级。ECN 和 DCQCN 承担日常工作,让队列保持浅层以使流量持续流动;PFC 仅在突发超出它们的处理能力时才介入,短暂暂停某个优先级,而非丢包。一张不断触发 PFC 的 fabric 需要的是调优 ECN 阈值,而非更多的 PFC。

兜底手段

优先级流控(PFC)

PFC 逐跳暂停一个优先级队列 ,在其缓冲即将溢出时进行,因此不会丢弃任何数据。它粗粒度且快速,用作最后一道防线,而非日常控制。

主控制

显式拥塞通知(ECN)

ECN 在队列开始增长时标记数据包。 接收端 NIC 向发送端发出信号,发送端在队列被填满之前就降低速率。它细粒度且连续,承担着日常工作。

The loop

DCQCN

DCQCN 把交换机上的 ECN 标记与 NIC 上的速率控制绑定起来。 交换机的角色是 ECN 标记;NIC 负责速率调整。二者共同把队列维持在低位,而不触发 PFC。

为何 RDMA 需要它

为何 RoCEv2 需要一条无损路径

RDMA 是为不丢包的传输而设计的。 RoCEv2 通过 UDP 和 IP 承载 RDMA,使其能在数据中心内路由,但它也承袭了对丢包的低容忍度:哪怕丢失一个数据包,也会触发恢复,使尾延迟骤增,并可能拖停一次 GPU 集合通信,进而拖停整个训练步骤。

用 PFC 和 ECN 让以太网路径无损,赋予 RoCEv2 其设计初衷所要求的行为。这正是无损以太网在 AI fabric 中存在的全部理由,也是为什么一张生产级 RoCEv2 GPU fabric 始终运行在配置为无损的网络上。

在开放硬件上

OcNOS-DC 交付什么

在 Broadcom Tomahawk 5 平台上,OcNOS-DC 是完整无损协议栈的使能者,在集群上线调试期间以闭环方式调优,而非靠猜测。

  • PFC,包括通过 DCBX 和 LLDP 实现的三层 PFC,外加 PFC 死锁检测与恢复。
  • ECN 和 Dynamic ECN,配合增强传输选择(ETS)和 WRED。
  • 缓冲调优和 RTAG7 哈希,用于把流量分散到整张 fabric 上。
  • 拥塞和队列计数器通过 gNMI 和 OpenConfig 遥测流式输出,用于闭环阈值调优。
常见问题

什么是无损以太网常见问题解答

什么是无损以太网?
无损以太网是经过配置的标准以太网,使某一选定的流量类别(通常是 RDMA)在网络拥塞时不被丢弃。它通过优先级流控(PFC)实现——在特定优先级队列的缓冲溢出之前将其暂停——并借助显式拥塞通知(ECN),在任何队列填满之前提前标记数据包,使发送端减速。目标是为对丢包反应敏感的流量提供一条不丢包的路径,而无需把整个网络都变成不丢包。
PFC、ECN 和 DCQCN 如何协同工作?
它们以不同的速度运作。ECN 是主要的细粒度控制:交换机在队列开始增长时标记数据包,接收端 NIC 则向发送端发出信号以降低速率。DCQCN 是一种端到端算法,在一个连续的环路中把交换机上的 ECN 标记与 NIC 上的速率控制绑定起来;交换机在 DCQCN 中的角色就是 ECN 标记。PFC 是快速的兜底:当队列无论如何都将溢出时,PFC 逐跳暂停该优先级,从而在 ECN 和 DCQCN 生效期间不丢弃任何数据。调优良好的 fabric 依靠 ECN 和 DCQCN,而把 PFC 作为最后手段。
为何 RoCEv2 需要无损以太网?
RoCEv2 是通过 UDP 和 IP 承载的 RDMA。RDMA 是为不丢包的传输而设计的,因此一个丢失的数据包会触发恢复,其在尾延迟上的代价高昂,并可能拖停一次 GPU 集合通信。用 PFC 和 ECN 让以太网路径无损,赋予 RoCEv2 其所期望的不丢包行为,这正是一张生产级 RoCEv2 GPU fabric 始终运行在配置为无损的网络上的原因。
OcNOS-DC 支持哪些无损特性?
在 Broadcom Tomahawk 5 硬件上,OcNOS-DC 支持 PFC(包括通过 DCBX 和 LLDP 实现的三层 PFC)、ECN、Dynamic ECN、增强传输选择(ETS)、WRED,以及 PFC 死锁检测与恢复,还有缓冲调优和 RTAG7 哈希。拥塞状态和队列计数器通过 gNMI 和 OpenConfig 遥测流式输出,用于闭环调优。各项背后的细节请参见 PFC 死锁和 DCQCN 页面。

在调优一张无损 fabric?让我们一起来设定阈值

告诉我们 GPU 规模和流量类别,IP Infusion 的工程师将与您一起设定 PFC、ECN 和 DCQCN,而不是把阈值留给猜测。