UEC 1.0 · 数据包喷洒 · UET

Ultra Ethernet:面向 AI Fabric 的 UEC 1.0

Ultra Ethernet 是在标准以太网上实现 InfiniBand 级 AI 组网的开放、多厂商路径。 2025 年 6 月发布的 UEC 1.0 规范定义了 Ultra Ethernet Transport(UET),涵盖数据包喷洒、多路径 RDMA、乱序交付、选择性重传,以及基于发送端和接收端的双向拥塞控制。它不要求无损的 PFC fabric,而 OcNOS-DC 提供了 UEC 能力 NIC 所需的、基于标准的 fabric 层。

June 2025UEC 1.0 规范
1 张 fabricRoCEv2 与 UEC,同一套硬件
最高 800G运行于 Tomahawk 5 的 OcNOS-DC
600+基于 OcNOS 的运营商网络
UET 如何传递一条消息

跨每条路径的数据包喷洒

两个 GPU 之间的单条 RDMA 消息会被逐包同时喷洒到全部四条 spine 路径上。fabric 容忍乱序到达,目的端 UEC NIC 按序重组。没有流固定、没有哈希冲突、没有空闲的上行链路。

跨 4 个 spine 网络的 Ultra Ethernet 报文喷洒 Two GPUs connected through two leaves and four spines. A single RDMA message is split into four packets and sent across all four spine paths simultaneously. At the receiving NIC, packets arrive out of order and are reassembled in order before delivery to the GPU. Bottom band lists UEC properties: packet spray, multi-path RDMA, out-of-order delivery, NIC reassembly. P1 P2 P3 P4 Spine-1UEC 网络架构 Spine-2UEC 网络架构 Spine-3UEC 网络架构 Spine-4UEC 网络架构 Leaf-1OcNOS-DC Leaf-2OcNOS-DC GPU-AUEC NIC GPU-Breassembly UEC 1.0 · PACKET SPRAY · MULTI-PATH RDMA · OUT-OF-ORDER DELIVERY · NIC REASSEMBLY
深入传输层

Ultra Ethernet Transport 新增了什么

RoCEv2 行之有效,但它承袭了较旧的设计约束:每条流一条哈希路径、全网范围的 PFC 暂停,以及窗口重启式的丢包恢复。UEC 1.0 规范保留了可向任意厂商采购的标准物理以太网,并用一套面向 1k 到 100k GPU 作业构建的传输(UET)取代了上层。

Path use

数据包喷洒

单条消息被喷洒到 每一条可用路径 上。没有流固定、没有 ECMP 冲突,因此在集合通信期间 fabric 利用率接近理论最大值。

RDMA

多路径 RDMA

RDMA 承载于 多条并行路径 之上,而非单一路径,因此大规模传输不再受限于单条哈希链路的带宽。

交付

乱序交付

fabric 允许乱序。 UEC NIC 按序重组 后再交付,因此应用和 GPU 从不会看到乱序。

Recovery

选择性重传

丢失的数据包被恢复 selectively ,而非重启 RDMA 窗口,从而把任何 fabric 内丢包带来的尾延迟代价降到最低。

Control

现代拥塞控制

Both 基于发送端和接收端的 机制取代粗粒度的 PFC 暂停成为主要手段。UET 不要求无损的 PFC fabric;暂停成为兜底,而非第一道防线。

生态系统

开放且多厂商

UET runs on 来自任意厂商的标准以太网. The consortium (AMD, Arista, Broadcom, Cisco, HPE, Intel, Meta, Microsoft, Oracle and others) publishes the spec openly.

各自的适用场景

UEC、RoCEv2 与 InfiniBand,逐项对比

如今大多数生产级 AI fabric 都运行 RoCEv2。随着 UEC 能力 NIC 上市,Ultra Ethernet 是基于标准的前进路径,而 InfiniBand 仍是单一厂商的专用之选。哪一项维度重要,取决于工作负载和时间节点。

Axis RoCEv2以太网,当下 Ultra EthernetUET,开放多厂商 InfiniBandsingle-vendor
Path use每条流一条哈希 ECMP 路径;并行路径可能闲置。跨每一条可用路径并行进行数据包喷洒。自适应路由已内置于规范中。
丢包处理通过 PFC + ECN + DCQCN 实现无损;依赖全网范围的暂停。容忍丢包与乱序;不要求无损的 PFC fabric。通过基于信用的流控实现无损。
Reordering仅支持按序交付。乱序交付,在 NIC 处按序重组。按序交付。
Retransmission基于窗口的恢复会加重尾延迟。仅对丢失的数据包进行选择性重传。链路级恢复。
拥塞控制带 ECN 标记的 DCQCN。端点处基于发送端和接收端的双向控制。链路层基于信用。
生态系统每一层都是多厂商以太网。开放、多厂商;任何厂商都可依据 UEC 1.0 规范构建。在 NIC 和交换芯片上实际是单一厂商。
OcNOS-DC 现状如今已在 Tomahawk 4 / Tomahawk 5 上达到生产级。fabric 层与 UEC 1.0 profile 对齐;传输将随 NIC 上市而启用。不适用;采用独立的 fabric 和工具。
OcNOS 与 UEC

UEC NIC 所需的 fabric 层

OcNOS-DC 如今运行着生产级 RoCEv2 fabric,并跟踪 UEC 1.0 fabric 侧 profile:即与 UEC 能力 NIC 互通所需的交换机配置与行为。完整的传输是一项路线图内容,将随这些 NIC 上市而启用。与该 profile 对齐并不构成认证声明。

Spec

UEC 1.0 网络配置文件

OcNOS-DC 跟踪 UEC 1.0 fabric 侧 profile,即交换机为在 UEC 能力 NIC 到来时与之互通所必须支持的配置与行为。

Spray-friendly

容忍乱序的转发

逐包 ECMP、适合数据包喷洒的 QoS,以及不惩罚乱序交付的共享缓冲策略:这些正是 UEC NIC 高效运行所需的条件。

硬件

Tomahawk 4 / 5 芯片

运行于当前 RoCEv2 网络所采用的同款 Broadcom Tomahawk 4(25.6T)与 Tomahawk 5(51.2T)平台之上。无需整体更换升级。

Brownfield

RoCEv2 与 UEC 共存

UEC 与 RoCEv2 流量以不同优先级共享同一张 fabric。可随着 UEC 能力 NIC 的部署逐步迁移集群。

遥测

UEC 感知的可观测性

通过 gNMI 流式上报每路径利用率、便于喷洒(spray)的缓冲计数器以及乱序容忍度指标,可在集群上线(bring-up)期间进行闭环调优。

开放硬件

厂商中立路径

UEC 是 InfiniBand 的开放替代方案。将 OcNOS-DC 与开放硬件搭配,意味着没有任何单一厂商掌控这张 AI fabric,而这正是关键所在。

迁移全景

现在基于 RoCEv2 构建,并保留通往 UEC 的顺畅路径

真实的 fabric 不会一夜之间切换。务实的方案是:如今在已经跟踪 UEC 1.0 profile 的硬件上运行生产级 RoCEv2,这样迈向新传输时无需更换 NOS 或交换机。

  • 现已支持 RoCEv2。 适用于当下构建的集群,达到生产级。OcNOS-DC 在 Tomahawk 4 / Tomahawk 5 上出厂即提供预调优的 RoCEv2。2026 年投产的多数 fabric 都是 RoCEv2。
  • UEC 随 NIC 上市而启用。 随着 UEC 能力 NIC 到来,这是横向扩展集群的前进路径。OcNOS-DC 提供 fabric 层;集群所有者自行选择 NIC 厂商。
  • InfiniBand 仍是专用之选。 单一厂商的性能,配以独立的布线、管理和生态。UEC 在基于标准的多厂商以太网 fabric 上弥合了这一性能差距。
  • 共存是默认状态。 来自现有集群的 RoCEv2 流量与来自下一批构建的 UEC 流量,在同一套 OcNOS-DC 硬件上并行运行。
  • GLB 得以延续。 OcNOS 7.1 全局负载均衡 路径质量平面的设计目标是随着规范成熟与 UEC 信令互通,因此如今在 OcNOS-DC 上的投入得以延续。
IP Infusion 的观点

开放以太网是目标,OcNOS 是路径

Ultra Ethernet 把曾经定义 InfiniBand 的传输技术带到了标准的多厂商以太网上。IP Infusion 是该联盟的贡献成员,OcNOS-DC 提供 fabric 层,因此如今构建的集群得以延续。

贡献成员

IP Infusion 参与塑造 UEC fabric 层规范,OcNOS-DC 随其演进跟踪 UEC 1.0 fabric profile。

如今即可生产级运行 RoCEv2

OcNOS-DC 如今即可在 Edgecore、UfiSpace 等厂商经过验证的开放硬件上,通过 PFC、ECN 和亚毫秒级 DLB 交付无损 RoCEv2。

设计之初即为 UEC 就绪

由于交换机已经跟踪 fabric profile,在 NIC 上市时启用 Ultra Ethernet 无需更换 NOS 或交换机。对齐并不构成认证声明。

常见问题

Ultra Ethernet 常见问题解答

什么是 Ultra Ethernet(UEC)?
Ultra Ethernet 是 Ultra Ethernet 联盟(UEC)推出的开放标准,使以太网适配 AI 和 HPC 工作负载。2025 年 6 月发布的 UEC 1.0 规范定义了 Ultra Ethernet Transport(UET):端点跨每条路径的数据包喷洒、多路径 RDMA、乱序交付并在 NIC 处重组、选择性重传,以及基于发送端和接收端的双向拥塞控制,从而使大规模训练和推理作业不再受限于单路径哈希和全网范围的暂停。
IP Infusion 是 Ultra Ethernet 联盟的成员吗?
是的。IP Infusion 是 Ultra Ethernet 联盟的贡献成员,参与塑造 fabric 层规范。OcNOS-DC 跟踪 UEC 1.0 fabric profile,因此您今天部署的交换机会在 UEC 能力 NIC 到来时得以延续。与该 profile 对齐并不构成认证声明。
Ultra Ethernet 与 RoCEv2 有何不同?
RoCEv2 把每条流固定到一条 ECMP 路径,并依赖全网范围的 PFC 来保持无损。Ultra Ethernet 则把单条消息并行喷洒到每一条可用路径,在目的端 NIC 处按序重组,只重传丢失的数据包,并在发送端和接收端同时控制拥塞。UET 不要求无损的 PFC fabric,从而降低了对 PFC 暂停的依赖,并改善大规模集合通信的尾延迟。
OcNOS 如今支持 Ultra Ethernet 吗?
OcNOS-DC 如今即通过 PFC、ECN 和亚毫秒级 DLB 运行生产级 RoCEv2 fabric,并与 UEC 1.0 fabric profile 对齐。完整的 Ultra Ethernet 传输是一项路线图内容,将随 UEC 能力 NIC 上市而启用;由于 OcNOS-DC 已经跟踪该 fabric profile,此次迁移无需更换 NOS 或交换机。与该 profile 对齐并不构成认证声明。
使用 Ultra Ethernet 需要新硬件吗?
交换机正是得以延续的部分。Ultra Ethernet 的端点行为(数据包喷洒、重组、选择性重传)运行在 UEC 能力 NIC 上,而您如今 RoCEv2 流量所用的 fabric 会在这些 NIC 逐步部署期间持续服务。在 HCL 收录的 Tomahawk 5 硬件上运行 OcNOS-DC,意味着 fabric 层已经与 UEC 1.0 profile 对齐。
什么是数据包喷洒和乱序交付?
数据包喷洒把一条消息的数据包一次性发送到所有并行 fabric 路径上,而非沿单一哈希路径发送,因此集合通信期间没有链路会成为热点。由于数据包随之可能乱序到达,目的端 NIC 会将其重组为原始顺序。二者结合让每条路径都保持繁忙,并缩短作业中最慢的那次传输。

在规划一张 UEC 就绪的 AI fabric?让我们一起来设计

告诉我们工作负载和 GPU 规模,IP Infusion 的工程师将与您一起为 leaf-spine fabric 设定规格,或先在 AI Fabric Design Suite 中生成一版初步布局。