RoCEv2：面向 AI fabric 的无损以太网
RoCEv2 是 RDMA 在标准以太网上运行的方式：它把 RDMA 封装进 UDP/IP，并使用 UDP 目的端口 4791，因此 GPU 集合通信流量可在普通的 leaf-spine fabric 上路由。 它需要由 PFC 和 ECN 构建的无损 fabric，并以 DCQCN 作为拥塞控制环，而 OcNOS 如今即在受支持的 400G 和 800G 开放硬件上交付这整套工具集。
同样的 GPU，运行在无损 leaf-spine fabric 上
一个紧凑的 rail 切片：两台 spine 和两台 leaf 在四个 GPU 之间承载 RoCEv2。拥塞时 PFC 暂停帧逐跳传播，而 ECN 标记大象流以便在源端触发 DCQCN 反应。RDMA 封装于 UDP/IP 中，使用目的端口 4791，因此同样的流量可在标准以太网 fabric 上路由。
近乎零丢包让 GPU 集合通信保持高效
GPU 集合通信（all-reduce、all-gather、all-to-all）会产生大象流，使单条 fabric 路径饱和，并要求近乎零丢包以保持训练作业的效率。RoCEv2 将 RDMA 封装在 UDP/IP 中（目的端口 4791），使 leaf-spine fabric 成为承载这些负载的无损传输，同时让这类流量可以跨三层路由。
| 参数 | RoCEv1二层 | RoCEv2UDP/IP，可路由 |
|---|---|---|
| 封装 | RDMA 直接承载于以太网之上（专用 EtherType）。 | RDMA 封装于 UDP/IP 中，使用 UDP 目的端口 4791。 |
| 网络层 | 仅二层；局限于单一广播域。 | 三层，可在标准 leaf-spine fabric 上路由。 |
| ECMP 熵 | 没有可供哈希的 IP 或 UDP 头；路径分散有限。 | 以 UDP 源端口作为流标识加以变化，从而把流量分散到各 ECMP 路径上。 |
| 无损要求 | 需要由 PFC 和 ECN 构建的无损 fabric。 | 需要由 PFC 和 ECN 构建的无损 fabric，并以 DCQCN 作为拥塞控制环。 |
| 覆盖与规模 | 限于机架内或单一子网。 | 路由式数据中心 fabric；参考设计最多支持 16,384 个 GPU。 |
让 fabric 保持无损的各项控制
RoCEv2 fabric 通过三种协同机制保持无损：优先级流控暂停正确的流量类别，ECN 和 DCQCN 在不丢包的情况下维持吞吐，动态负载均衡则让少数大流量避开拥塞的上行链路。
按优先级暂停
802.1Qbb PFC 逐跳暂停单一流量类别，使承载 RDMA 的队列绝不丢包。OcNOS 将其与 PFC 死锁检测与恢复配对，该机制可发现停滞的优先级并在其扩散之前将其恢复。
拥塞感知负载均衡
面对 AI 集合通信产生的少数大型大象流，静态 ECMP 哈希会发生冲突。 DLB 在本地链路饱和时重新分配 flowlet，消除对对称拓扑造成影响的静态哈希冲突。
OcNOS 所交付的 RoCEv2
除无损控制之外，OcNOS 还提供遥测、参考设计和顺畅的升级路径，把一份无损配置变成一张可运维的 fabric。
轨道优化（rail-optimized）网络
面向 rail 对齐拓扑的参考设计，最多可达 16,384 个 GPU ，基于现成的 400G 和 800G 开放交换机。
Ultra Ethernet 的定位
Ultra Ethernet 为标准以太网增加数据包喷洒和多路径 RDMA，运行在支持 UEC 的 NIC 上。OcNOS-DC 如今已在生产环境中运行无损 RoCEv2，IP Infusion 是 Ultra Ethernet Consortium 的成员。
一份 NOS 镜像横跨开放硬件
- 开放的硬件选择。 在 UfiSpace 或 Edgecore 平台上使用同一个 NOS 镜像运行 RoCEv2，使 fabric 层不受任何厂商锁定。
- 分层级许可。 PFC、ECN 和 ETS 包含在 OcNOS-DC IPBASE 和 PLUS 层级中。DLB、Dynamic ECN、PFC 死锁恢复和缓冲调优包含在 PLUS 层级中。Feature Matrix 列出了每项功能对应的平台。
标准以太网、RDMA 性能、开放硬件
RoCEv2 让 AI fabric 得以复用数据中心其余部分已在运行的以太网运维与设备，而 OcNOS 正是让它在开放交换机上实现无损的使能者。
标准以太网，RDMA 速度
RoCEv2 通过可路由的 UDP/IP 承载 RDMA，因此 GPU 集合通信无需单独的专用 fabric 即可获得低延迟、低 CPU 占用的数据搬移。
开放硬件选择
同一套无损配置可在 400G 和 800G 的 UfiSpace 与 Edgecore 交换机上运行，使 fabric 层保持多厂商。
OcNOS 是使能者
PFC、ECN、DLB 和流式遥测作为同一个 NOS 在开放交换机上提供，因此完整的无损 fabric 是直接构建，而非集成项目。
RoCEv2 常见问题解答
什么是 RoCEv2?
RoCEv2与RoCEv1有何区别？
RoCEv2 是否需要 lossless 网络？
RoCEv2使用哪个UDP端口？
RoCEv2 与 InfiniBand 相比如何？
深入了解，随身带走。
产品数据手册，以及内容比本页更为深入的简明技术下载资料。
OcNOS-DC 数据手册
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开，请使用下方链接。
OcNOS 800G 无损 AI Fabric
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开，请使用下方链接。
EVPN-VXLAN 数据中心网络
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开，请使用下方链接。
在构建或扩展 AI fabric？获取针对具体工作负载的评审
告诉我们 GPU 规模和集合通信模式，IP Infusion 的工程师将与您一起为交换机层级设定规格并调优无损配置，或先在 AI Fabric Design Suite 中生成一版初步的 leaf-spine 布局。
用 OcNOS 设计整张 AI fabric
从商业论证到端口数量测算，无论您进行到哪一步，都可从此接续。