對齊 UEC 1.0

Ultra Ethernet:適用於 AI Fabric 的 UEC 1.0

Ultra Ethernet是業界針對「乙太網能否替代InfiniBand用於萬億參數訓練」這一問題給出的開放答案。Ultra Ethernet Consortium 1.0規範以報文噴灑(packet spray)、多路徑RDMA、亂序交付和現代化擁塞控制重新設計了傳輸層,而OcNOS則提供了UEC NIC所需的基於標準的fabric層。

全路徑數據包噴灑

兩個 GPU 之間的單條 RDMA 消息被逐包同時噴灑到全部四條 spine 路徑上。該 fabric 容忍亂序到達;目的端 UEC NIC 會按序重組。無流量綁定、無哈希衝突、無空閒上行鏈路。

跨 4 個 spine 網路的 Ultra Ethernet 報文噴灑 兩塊GPU通過兩個leaf和四個spine互聯。單條RDMA消息被拆分為四個報文,同時經由全部四條spine路徑發送。在接收端NIC處,亂序到達的報文在交付給GPU之前被按序重組。底部條帶列出了UEC特性:報文噴灑(packet spray)、多路徑、亂序交付、NIC重組。 P1 P2 P3 P4 Spine-1UEC 網路架構 Spine-2UEC 網路架構 Spine-3UEC 網路架構 Spine-4UEC 網路架構 Leaf-1已獲 UEC 授權 Leaf-2已獲 UEC 授權 GPU-AUEC NIC GPU-Breassembly UEC 1.0 · PACKET SPRAY · MULTI-PATH RDMA · OUT-OF-ORDER DELIVERY · NIC REASSEMBLY

UEC 為何當下至關重要

RoCEv2 是第一代「乙太網承載 RDMA」技術。它確實可用,但繼承了另一個時代乙太網承載 TCP/IP 的設計約束。每個(5 元組、hash)對應單條流,意味著 GPU 集合通信可能讓一條路徑飽和,而並行路徑卻處於空閒。PFC 的 pause 傳播會引發隊頭阻塞,在病態拓撲中甚至導致死鎖。基於 NACK 的丟包恢復則給尾延遲帶來了額外開銷。

The Ultra Ethernet Consortium, backed by AMD, Arista, Broadcom, Cisco, HPE, Intel, Meta, Microsoft, Oracle, and others, released the UEC 1.0 specification to redesign the transport for AI scale. It keeps the standard physical Ethernet you can buy from anyone, and replaces the upper layers with a transport built for 1k-100k GPU jobs.

UEC 四大支柱

Packet spray

單條消息被噴灑到每一條可用路徑上。無流綁定。無 ECMP 哈希衝突。網路結構利用率逼近理論上限。

亂序交付

允許 fabric 進行亂序傳輸。UEC NIC 在交付前按序重組,因此應用程式和 GPU 永遠不會感知到亂序。

現代擁塞控制

基於發送方與接收方驅動的方案取代粗粒度的 PFC 暫停成為主要手段。暫停轉為兜底機制,而非第一道防線。

選擇性重傳

丟失的報文被有選擇地恢復,而非重啟整個 RDMA 窗口,從而消除了任何織構內丟包帶來的尾延遲懲罰。

OcNOS UEC 實現

Spec

UEC 1.0 網路配置檔案

OcNOS-DC 實現了 UEC 1.0 網路結構側規範:即交換機為與符合 UEC 標準的網卡互操作所必須支持的配置與行為。

Spray-Friendly

容忍亂序的轉發

逐包 ECMP、對包噴灑友好的 QoS,以及不懲罰亂序交付的共享緩衝策略:這些正是 UEC 網卡高效運行所需的條件。

硬體

TH4 / TH5 晶片

運行於當前 RoCEv2 網路所採用的同款 Broadcom Tomahawk 4(25.6T)與 Tomahawk 5(51.2T)平台之上。無需整體更換升級。

Brownfield

RoCEv2 + UEC 共存

UEC 和 RoCEv2 流量以不同優先級共享同一 fabric。隨著支持 UEC 的 NIC 逐步部署,可對叢集進行漸進式遷移。

遙測

UEC 感知的可觀測性

通過 gNMI 流式上報每路徑利用率、便於噴灑(spray)的緩衝計數器以及亂序容忍度指標,可在叢集上線(bring-up)期間進行閉環調優。

開放硬體

廠商中立路徑

UEC 是 InfiniBand 的開放替代方案。將符合 UEC 標準的 OcNOS-DC 與開放硬體配對,意味著沒有任何單一廠商掌控 AI fabric,而這正是關鍵所在。

UEC、RoCEv2 與 InfiniBand:各自的適用場景

  • 現已支持 RoCEv2。 適用於當下即可構建的叢集,達到生產級水準。OcNOS-DC 在 TH4 / TH5 上預調優 RoCEv2:詳見 RoCEv2 deep-dive。2026 年大多數投產的網路都採用 RoCEv2。
  • 未來支持 UEC。 隨著 UEC NIC 大批量上市,這是 scale-out 叢集的前進方向。OcNOS 提供 fabric 層;叢集擁有者自行選擇 NIC 廠商。請使用以下工具,依據您的 GPU 數量為 leaf-spine fabric 進行規模估算。 AI Fabric 規模估算工具.
  • InfiniBand. 單一廠商的性能鎖定。不同的布線、不同的管理、獨立的生態系統。UEC 在基於標準的多廠商乙太網 fabric 上彌合了這一性能差距。
  • 預設即可共存。 實際 fabric 既承載來自現有叢集的 RoCEv2 流量,也並行承載來自下一代建設的 UEC 流量。OcNOS-DC 在同一硬體上同時支持兩者。
  • Forward-looking GLB. OcNOS 7.1 Global Load Balancing 路徑品質平面正在設計中,將隨規範成熟與 UEC 信令互操作,因此今天對 OcNOS-DC 的投入可持續延續。

正在規劃支持 UEC 的 AI 網路?讓我們一起設計。

預約架構評審 →