对齐 UEC 1.0

Ultra Ethernet:面向 AI Fabric 的 UEC 1.0

Ultra Ethernet是业界针对“以太网能否替代InfiniBand用于万亿参数训练”这一问题给出的开放答案。Ultra Ethernet Consortium 1.0规范以报文喷洒(packet spray)、多路径RDMA、乱序交付和现代化拥塞控制重新设计了传输层,而OcNOS则提供了UEC NIC所需的基于标准的fabric层。

全路径数据包喷洒

两个 GPU 之间的单条 RDMA 消息被逐包同时喷洒到全部四条 spine 路径上。该 fabric 容忍乱序到达;目的端 UEC NIC 会按序重组。无流量绑定、无哈希冲突、无空闲上行链路。

跨 4 个 spine 网络的 Ultra Ethernet 报文喷洒 两块GPU通过两个leaf和四个spine互联。单条RDMA消息被拆分为四个报文,同时经由全部四条spine路径发送。在接收端NIC处,乱序到达的报文在交付给GPU之前被按序重组。底部条带列出了UEC特性:报文喷洒(packet spray)、多路径、乱序交付、NIC重组。 P1 P2 P3 P4 Spine-1UEC 网络架构 Spine-2UEC 网络架构 Spine-3UEC 网络架构 Spine-4UEC 网络架构 Leaf-1已获 UEC 授权 Leaf-2已获 UEC 授权 GPU-AUEC NIC GPU-Breassembly UEC 1.0 · PACKET SPRAY · MULTI-PATH RDMA · OUT-OF-ORDER DELIVERY · NIC REASSEMBLY

UEC 为何当下至关重要

RoCEv2 是第一代“以太网承载 RDMA”技术。它确实可用,但继承了另一个时代以太网承载 TCP/IP 的设计约束。每个(5 元组、hash)对应单条流,意味着 GPU 集合通信可能让一条路径饱和,而并行路径却处于空闲。PFC 的 pause 传播会引发队头阻塞,在病态拓扑中甚至导致死锁。基于 NACK 的丢包恢复则给尾延迟带来了额外开销。

The Ultra Ethernet Consortium,在 AMD、Arista、Broadcom、Cisco、HPE、Intel、Meta、Microsoft、Oracle 等厂商的支持下,发布了 UEC 1.0 规范,以面向 AI 规模重新设计传输层。它保留了可向任意厂商采购的标准物理以太网,并将上层替换为专为 1k–100k GPU 任务打造的传输层。

UEC 四大支柱

Packet spray

单条消息被喷洒到每一条可用路径上。无流绑定。无 ECMP 哈希冲突。网络结构利用率逼近理论上限。

乱序交付

允许 fabric 进行乱序传输。UEC NIC 在交付前按序重组,因此应用程序和 GPU 永远不会感知到乱序。

现代拥塞控制

基于发送方与接收方驱动的方案取代粗粒度的 PFC 暂停成为主要手段。暂停转为兜底机制,而非第一道防线。

选择性重传

丢失的报文被有选择地恢复,而非重启整个 RDMA 窗口,从而消除了任何织构内丢包带来的尾延迟惩罚。

OcNOS UEC 实现

Spec

UEC 1.0 网络配置文件

OcNOS-DC 实现了 UEC 1.0 网络结构侧规范:即交换机为与符合 UEC 标准的网卡互操作所必须支持的配置与行为。

Spray-Friendly

容忍乱序的转发

逐包 ECMP、对包喷洒友好的 QoS,以及不惩罚乱序交付的共享缓冲策略:这些正是 UEC 网卡高效运行所需的条件。

硬件

TH4 / TH5 芯片

运行于当前 RoCEv2 网络所采用的同款 Broadcom Tomahawk 4(25.6T)与 Tomahawk 5(51.2T)平台之上。无需整体更换升级。

Brownfield

RoCEv2 + UEC 共存

UEC 和 RoCEv2 流量以不同优先级共享同一 fabric。随着支持 UEC 的 NIC 逐步部署,可对集群进行渐进式迁移。

遥测

UEC 感知的可观测性

通过 gNMI 流式上报每路径利用率、便于喷洒(spray)的缓冲计数器以及乱序容忍度指标,可在集群上线(bring-up)期间进行闭环调优。

开放硬件

厂商中立路径

UEC 是 InfiniBand 的开放替代方案。将符合 UEC 标准的 OcNOS-DC 与开放硬件配对,意味着没有任何单一厂商掌控 AI fabric,而这正是关键所在。

UEC、RoCEv2 与 InfiniBand:各自的适用场景

  • 现已支持 RoCEv2。 面向当下即可构建的集群,达到生产级水准。OcNOS-DC 在 TH4 / TH5 上预调优 RoCEv2:详见 RoCEv2 deep-dive。2026 年大多数投产的网络都采用 RoCEv2。
  • 未来支持 UEC。 随着 UEC NIC 大批量上市,这是 scale-out 集群的前进方向。OcNOS 提供 fabric 层;集群所有者自行选择 NIC 厂商。请使用以下工具,根据您的 GPU 数量为 leaf-spine fabric 定量。 AI Fabric 定量工具.
  • InfiniBand. 单一厂商的性能锁定。不同的布线、不同的管理、独立的生态系统。UEC 在基于标准的多厂商以太网 fabric 上弥合了这一性能差距。
  • 默认即可共存。 实际 fabric 既承载来自现有集群的 RoCEv2 流量,也并行承载来自下一代建设的 UEC 流量。OcNOS-DC 在同一硬件上同时支持两者。
  • Forward-looking GLB. OcNOS 7.1 Global Load Balancing 路径质量平面正在设计中,将随规范成熟与 UEC 信令互操作,因此今天对 OcNOS-DC 的投入可持续延续。

正在规划支持 UEC 的 AI 网络?让我们一起设计。

预约架构评审 →