UEC 1.0 · 封包散播 · UET

Ultra Ethernet:適用於 AI Fabric 的 UEC 1.0

Ultra Ethernet 是在標準乙太網路上實現 InfiniBand 等級 AI 網路的開放、多供應商之路。 於 2025 年 6 月發布的 UEC 1.0 規格定義了 Ultra Ethernet Transport(UET),具備封包散播、多路徑 RDMA、亂序遞送、選擇性重傳,以及發送端與接收端雙方的壅塞控制。它不需要無損的 PFC 網狀架構,而 OcNOS-DC 提供支援 UEC 的 NIC 所需、以標準為基礎的網狀架構層。

June 2025UEC 1.0 規格
1 張 fabricRoCEv2 與 UEC,相同硬體
最高 800GTomahawk 5 上的 OcNOS-DC
600+OcNOS 上的電信業者網路
UET 如何傳送一則訊息

跨每一條路徑的封包散播

兩顆 GPU 之間的單一 RDMA 訊息會逐封包同時散播到全部四條脊路徑上。網狀架構容許亂序抵達,而目的端的 UEC NIC 會按序重組。沒有流量綁定、沒有雜湊衝突、沒有閒置的上行鏈路。

跨 4 個 spine 網路的 Ultra Ethernet 報文噴灑 Two GPUs connected through two leaves and four spines. A single RDMA message is split into four packets and sent across all four spine paths simultaneously. At the receiving NIC, packets arrive out of order and are reassembled in order before delivery to the GPU. Bottom band lists UEC properties: packet spray, multi-path RDMA, out-of-order delivery, NIC reassembly. P1 P2 P3 P4 Spine-1UEC 網路架構 Spine-2UEC 網路架構 Spine-3UEC 網路架構 Spine-4UEC 網路架構 Leaf-1OcNOS-DC Leaf-2OcNOS-DC GPU-AUEC NIC GPU-Breassembly UEC 1.0 · PACKET SPRAY · MULTI-PATH RDMA · OUT-OF-ORDER DELIVERY · NIC REASSEMBLY
深入傳輸內部

Ultra Ethernet Transport 增添了什麼

RoCEv2 確實可行,但它承襲了較舊的設計限制:每條流量僅有一條雜湊路徑、全網路範圍的 PFC 暫停,以及以視窗重啟方式進行的遺失復原。UEC 1.0 規格保留了您能向任何人購買的標準實體乙太網路,並以一種為 1k 至 100k GPU 作業打造的傳輸(UET)取代上層。

Path use

封包散播

單一訊息會被散播至 每一條可用路徑 並同時進行。沒有流量綁定、沒有 ECMP 衝突,因此在集合通訊期間,網狀架構的使用率趨近理論上限。

RDMA

多路徑 RDMA

RDMA 承載於 多條並行路徑 之上而非單一路徑,因此大型傳輸不再受限於單一雜湊鏈路的頻寬。

交付

亂序交付

網狀架構被允許重新排序。 UEC NIC 按序重組 在遞送之前完成,因此應用程式與 GPU 從不會看到亂序。

Recovery

選擇性重傳

遺失的封包會被復原 selectively 而非重啟 RDMA 視窗,從而大幅降低任何網狀架構內遺失所帶來的尾端延遲代價。

Control

現代擁塞控制

Both 以發送端與接收端為基礎的 機制取代粗略的 PFC 暫停成為主要工具。UET 不需要無損的 PFC 網狀架構;暫停成為後備防線,而非第一線。

生態系統

開放且多供應商

UET runs on 來自任何供應商的標準乙太網路. The consortium (AMD, Arista, Broadcom, Cisco, HPE, Intel, Meta, Microsoft, Oracle and others) publishes the spec openly.

各自適用於何處

UEC、RoCEv2 與 InfiniBand,逐項比較

如今多數正式環境的 AI 網狀架構是以 RoCEv2 運行。隨著支援 UEC 的 NIC 出貨,Ultra Ethernet 是以標準為基礎的前進道路,而 InfiniBand 仍是單一供應商的專門選擇。哪一項重要,取決於工作負載與時程。

Axis RoCEv2乙太網路,現今 Ultra EthernetUET,開放多供應商 InfiniBandsingle-vendor
Path use每條流量僅有一條雜湊 ECMP 路徑;並行路徑可能閒置。跨每一條可用路徑並行進行封包散播。自適應路由已內置於規範中。
遺失處理透過 PFC + ECN + DCQCN 達成無損;仰賴全網路範圍的暫停。容許遺失與重新排序;不需要無損的 PFC 網狀架構。透過以額度為基礎的流量控制達成無損。
Reordering僅支援按序遞送。亂序遞送,於 NIC 端按序重組。按序遞送。
Retransmission以視窗為基礎的復原會增加尾端延遲負擔。僅對遺失的封包進行選擇性重傳。鏈路層級的復原。
壅塞控制搭配 ECN 標記的 DCQCN。在端點同時採用以發送端與接收端為基礎的控制。在鏈路上以額度為基礎。
生態系統每一層皆為多供應商乙太網路。開放、多供應商;任何供應商皆可依 UEC 1.0 規格建構。在 NIC 與交換晶片方面實質上為單一供應商。
OcNOS-DC 狀態如今已在 Tomahawk 4 / Tomahawk 5 上進入正式環境。網狀架構層已對齊 UEC 1.0 規範;傳輸將隨 NIC 出貨啟用。不適用;獨立的網狀架構與工具。
OcNOS 與 UEC

UEC NIC 所需的網狀架構層

OcNOS-DC 如今即運行正式環境的 RoCEv2 網狀架構,並追蹤 UEC 1.0 網狀架構側規範:即與支援 UEC 的 NIC 互通所需的交換器設定與行為。完整的傳輸屬於藍圖項目,將隨這些 NIC 出貨而啟用。與該規範對齊並非認證聲明。

Spec

UEC 1.0 網路配置檔案

OcNOS-DC 追蹤 UEC 1.0 網狀架構側規範,即交換器為了在支援 UEC 的 NIC 到來時與其互通所必須支援的設定與行為。

Spray-friendly

容忍亂序的轉發

逐封包 ECMP、對封包散播友善的 QoS,以及不會懲罰亂序遞送的共享緩衝區政策:這些正是 UEC NIC 高效運作所需的條件。

硬體

Tomahawk 4 / 5 晶片

運行於當前 RoCEv2 網路所採用的同款 Broadcom Tomahawk 4(25.6T)與 Tomahawk 5(51.2T)平台之上。無需整體更換升級。

Brownfield

RoCEv2 與 UEC 並存

UEC 與 RoCEv2 流量以不同優先權共享同一張網狀架構。隨著支援 UEC 的 NIC 部署,逐步遷移叢集。

遙測

UEC 感知的可觀測性

通過 gNMI 流式上報每路徑利用率、便於噴灑(spray)的緩衝計數器以及亂序容忍度指標,可在叢集上線(bring-up)期間進行閉環調優。

開放硬件

廠商中立路徑

UEC 是 InfiniBand 的開放替代方案。將 OcNOS-DC 與開放硬體搭配,意味著沒有任何單一供應商能獨占 AI 網狀架構,而這正是重點所在。

遷移全貌

現在就以 RoCEv2 為基礎建構,並保留一條通往 UEC 的清晰路徑

實際的網狀架構不會一夕之間切換。務實的計畫是如今就在已追蹤 UEC 1.0 規範的硬體上運行正式環境的 RoCEv2,如此一來,邁向該傳輸的這一步便無需更換 NOS 或交換器。

  • 現已支持 RoCEv2。 對現在正在建置的叢集達正式環境等級。OcNOS-DC 在 Tomahawk 4 / Tomahawk 5 上出貨即附預先調校的 RoCEv2。2026 年多數正式環境的網狀架構皆為 RoCEv2。
  • UEC 隨 NIC 出貨。 當支援 UEC 的 NIC 到來時,向外擴展叢集的前進道路。OcNOS-DC 提供網狀架構層;叢集擁有者則自選 NIC 供應商。
  • InfiniBand 維持專門定位。 單一供應商的效能,搭配獨立的佈線、管理與生態系。UEC 在以標準為基礎的多供應商乙太網路網狀架構上,消弭了這道效能差距。
  • 並存是預設。 來自既有叢集的 RoCEv2 流量,與來自下一次建置的 UEC 流量,在同一套 OcNOS-DC 硬體上並行運行。
  • GLB 得以延續。 OcNOS 7.1 全局負載均衡 路徑品質層面正被設計為隨規格成熟而與 UEC 訊號互通,因此今日在 OcNOS-DC 上的投資得以延續。
IP Infusion 的觀點

開放乙太網路是目的地,而 OcNOS 是路徑

Ultra Ethernet 將定義了 InfiniBand 的傳輸技術帶到標準、多供應商的乙太網路上。IP Infusion 是該聯盟的貢獻成員,而 OcNOS-DC 提供網狀架構層,因此今日所建置的叢集得以延續。

貢獻成員

IP Infusion 參與形塑 UEC 網狀架構層規格,而 OcNOS-DC 隨其演進追蹤 UEC 1.0 網狀架構規範。

現今即可正式運行的 RoCEv2

OcNOS-DC 如今即在來自 Edgecore 與 UfiSpace 等供應商、經驗證的開放硬體上,交付具備 PFC、ECN 與毫秒以下 DLB 的無損 RoCEv2。

從設計上即已為 UEC 做好準備

由於交換器已追蹤該網狀架構規範,在 NIC 出貨時啟用 Ultra Ethernet 無需更換 NOS 或交換器。對齊並非認證聲明。

常見問題

Ultra Ethernet,為您解答

什麼是 Ultra Ethernet(UEC)?
Ultra Ethernet 是 Ultra Ethernet Consortium(UEC)制定的開放標準,將乙太網路調適以適用於 AI 與 HPC 工作負載。於 2025 年 6 月發布的 UEC 1.0 規格定義了 Ultra Ethernet Transport(UET):端點跨每一條路徑的封包散播、多路徑 RDMA、於 NIC 端重組的亂序遞送、選擇性重傳,以及發送端與接收端雙方的壅塞控制,使大型訓練與推論作業不再受限於單一路徑雜湊與全網路範圍的暫停。
IP Infusion 是 Ultra Ethernet Consortium 的成員嗎?
是的。IP Infusion 是 Ultra Ethernet Consortium 的貢獻成員,並參與形塑網狀架構層規格。OcNOS-DC 追蹤 UEC 1.0 網狀架構規範,因此您今日部署的交換器,在支援 UEC 的 NIC 到來時得以延續。與該規範對齊並非認證聲明。
Ultra Ethernet 與 RoCEv2 有何不同?
RoCEv2 將每條流量綁定到一條 ECMP 路徑,並依賴全網路範圍的 PFC 來維持無損。Ultra Ethernet 則將單一訊息並行散播到每一條可用路徑上,於目的端 NIC 按序重組,僅重傳遺失的封包,並在發送端與接收端雙方控制壅塞。UET 不需要無損的 PFC 網狀架構,這降低了對 PFC 暫停的依賴,並改善大型集合通訊的尾端延遲。
OcNOS 現今支援 Ultra Ethernet 嗎?
OcNOS-DC 如今即運行具備 PFC、ECN 與毫秒以下 DLB 的正式環境 RoCEv2 網狀架構,並已對齊 UEC 1.0 網狀架構規範。完整的 Ultra Ethernet 傳輸屬於藍圖項目,將隨支援 UEC 的 NIC 出貨而啟用;由於 OcNOS-DC 已追蹤該網狀架構規範,這項轉變無需更換 NOS 或交換器。與該規範對齊並非認證聲明。
我需要新硬體才能使用 Ultra Ethernet 嗎?
交換器正是得以延續的部分。Ultra Ethernet 的端點行為(封包散播、重組、選擇性重傳)在支援 UEC 的 NIC 上運行,而您今日 RoCEv2 流量所使用的網狀架構,會在這些 NIC 逐步推出時持續服務。在列於 HCL 的 Tomahawk 5 硬體上運行 OcNOS-DC,意味著網狀架構層已對齊 UEC 1.0 規範。
什麼是封包散播與亂序遞送?
封包散播將一則訊息的封包同時送往所有並行的網狀架構路徑,而非沿單一雜湊路徑向下傳送,因此在集合通訊期間不會有任何鏈路成為熱點。由於封包接著可能亂序抵達,目的端 NIC 會將它們重組回原始順序。兩者共同讓每一條路徑保持忙碌,並縮短一項作業中最慢的傳輸。

正在規劃一張為 UEC 做好準備的 AI 網狀架構嗎?讓我們一起設計

告訴我們工作負載與 GPU 規模,IP Infusion 的工程師將與您一同估算葉脊式網狀架構的規模,或者您也可以先在 AI Fabric Design Suite 中初步規劃配置。