什么是无损以太网?
无损以太网是经过配置的标准以太网,使某一选定的流量类别(通常是 RDMA)在拥塞下不被丢弃。 优先级流控(PFC)在特定优先级队列溢出之前将其暂停,显式拥塞通知(ECN)提前标记数据包使发送端减速,DCQCN 则把交换机的 ECN 标记与 NIC 的速率控制绑定起来。RoCEv2 需要这条不丢包的路径,而 OcNOS-DC 在 Broadcom Tomahawk 5 上交付这些控制。
PFC、ECN 和 DCQCN,及其如何分层
设计意图是一个梯级。ECN 和 DCQCN 承担日常工作,让队列保持浅层以使流量持续流动;PFC 仅在突发超出它们的处理能力时才介入,短暂暂停某个优先级,而非丢包。一张不断触发 PFC 的 fabric 需要的是调优 ECN 阈值,而非更多的 PFC。
显式拥塞通知(ECN)
ECN 在队列开始增长时标记数据包。 接收端 NIC 向发送端发出信号,发送端在队列被填满之前就降低速率。它细粒度且连续,承担着日常工作。
DCQCN
DCQCN 把交换机上的 ECN 标记与 NIC 上的速率控制绑定起来。 交换机的角色是 ECN 标记;NIC 负责速率调整。二者共同把队列维持在低位,而不触发 PFC。
为何 RoCEv2 需要一条无损路径
RDMA 是为不丢包的传输而设计的。 RoCEv2 通过 UDP 和 IP 承载 RDMA,使其能在数据中心内路由,但它也承袭了对丢包的低容忍度:哪怕丢失一个数据包,也会触发恢复,使尾延迟骤增,并可能拖停一次 GPU 集合通信,进而拖停整个训练步骤。
用 PFC 和 ECN 让以太网路径无损,赋予 RoCEv2 其设计初衷所要求的行为。这正是无损以太网在 AI fabric 中存在的全部理由,也是为什么一张生产级 RoCEv2 GPU fabric 始终运行在配置为无损的网络上。
OcNOS-DC 交付什么
在 Broadcom Tomahawk 5 平台上,OcNOS-DC 是完整无损协议栈的使能者,在集群上线调试期间以闭环方式调优,而非靠猜测。
- PFC,包括通过 DCBX 和 LLDP 实现的三层 PFC,外加 PFC 死锁检测与恢复。
- ECN 和 Dynamic ECN,配合增强传输选择(ETS)和 WRED。
- 缓冲调优和 RTAG7 哈希,用于把流量分散到整张 fabric 上。
- 拥塞和队列计数器通过 gNMI 和 OpenConfig 遥测流式输出,用于闭环阈值调优。
什么是无损以太网常见问题解答
什么是无损以太网?
PFC、ECN 和 DCQCN 如何协同工作?
为何 RoCEv2 需要无损以太网?
OcNOS-DC 支持哪些无损特性?
在调优一张无损 fabric?让我们一起来设定阈值
告诉我们 GPU 规模和流量类别,IP Infusion 的工程师将与您一起设定 PFC、ECN 和 DCQCN,而不是把阈值留给猜测。
用 OcNOS 设计整张 AI fabric
从商业论证到端口数量测算,无论您进行到哪一步,都可从此接续。
深入了解,随身带走。
两份简短的技术下载资料,比本页更深入:完整的 OcNOS-DC 数据表和无损 800G AI fabric 架构。
OcNOS-DC 数据手册
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开,请使用下方链接。
OcNOS 800G 无损 AI Fabric
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开,请使用下方链接。