RoCEv2：適用於 AI fabric 的無損乙太網
RoCEv2 是 RDMA 在標準 Ethernet 上運作的方式：它將 RDMA 封裝於 UDP/IP 之中，並使用 UDP 目的地連接埠 4791，因此 GPU 集體通訊流量可在一般的葉主幹網路上進行路由。 它需要由 PFC 與 ECN 建構的無損網路，並以 DCQCN 作為壅塞控制迴路，而 OcNOS 在今日即可於受支援的 400G 與 800G 開放硬體上提供完整的工具組。
相同的 GPU 在無損葉主幹網路上
一個精簡的軌道切片：兩個主幹與兩個葉節點在四個 GPU 之間承載 RoCEv2。PFC 暫停訊框會在壅塞時逐跳傳遞，而 ECN 則會標記大流量（elephant flow），以供來源端的 DCQCN 反應。RDMA 封裝於目的地連接埠 4791 的 UDP/IP 之中，因此相同的流量可在標準 Ethernet 網路上進行路由。
近乎零遺失讓 GPU 集體通訊維持高效率
GPU 集合通訊（all-reduce、all-gather、all-to-all）會產生大象流，使單一 fabric 路徑飽和，且需要近乎零的封包遺失，才能維持訓練作業的效率。RoCEv2 將 RDMA 封裝在 UDP/IP 中（目的埠 4791），讓 leaf-spine fabric 成為承載這些工作負載的無損傳輸，同時讓這些流量可跨第三層路由。
| 參數 | RoCEv1二層 | RoCEv2UDP/IP，可路由 |
|---|---|---|
| 封裝 | RDMA 直接透過 Ethernet 傳輸（採用專屬的 EtherType）。 | RDMA 封裝於 UDP/IP 之中，使用 UDP 目的地連接埠 4791。 |
| 網路層 | 僅限 Layer 2；侷限於單一廣播網域。 | 可在標準葉主幹網路上進行 Layer 3 路由。 |
| ECMP 熵值 | 沒有可供雜湊的 IP 或 UDP 標頭；路徑分散有限。 | 以 UDP 來源連接埠作為流量識別碼加以變化，將流量分散至各條 ECMP 路徑。 |
| 無損需求 | 需要由 PFC 與 ECN 建構的無損網路。 | 需要由 PFC 與 ECN 建構的無損網路，並以 DCQCN 作為壅塞控制迴路。 |
| 傳輸距離與規模 | 限於單一機架或單一子網路內。 | 路由式資料中心 fabric；參考設計最多支援 16,384 個 GPU。 |
使網路維持無損的控制機制
RoCEv2 網路透過三種相互協作的機制維持無損：優先權流量控制會暫停正確的流量類別，ECN 與 DCQCN 在不產生遺失的情況下維持吞吐量，而動態負載平衡則讓少數幾條大流量避開壅塞的上行鏈路。
按優先級暫停
802.1Qbb PFC 會逐跳暫停單一流量類別，使承載 RDMA 的佇列永不丟棄封包。OcNOS 並將其搭配 PFC 死鎖偵測與恢復，此機制可找出停滯的優先權，並在其擴散之前將其復原。
ECN 標記與 DCQCN 迴路
以 WRED 為基礎的 ECN 會在佇列累積時標記封包，而 DCQCN 則是壅塞控制迴路 ，在來源端做出反應，在不遺失封包的前提下維持吞吐量。
壅塞感知負載平衡
靜態 ECMP 雜湊會在 AI 集體通訊所產生的少數幾條大流量上發生碰撞。 DLB 在本地鏈路飽和時重新分配 flowlet，消除對對稱拓撲造成影響的靜態雜湊碰撞。
OcNOS 所提供的 RoCEv2
除了無損控制機制之外，OcNOS 還提供遙測、參考設計以及清晰的升級路徑，將無損組態轉變為可實際運作的網路。
軌道最佳化（rail-optimized）網路
適用於 rail 對齊拓撲的參考設計，最多可達 16,384 個 GPU ，採用現成的 400G 與 800G 開放交換器。
Ultra Ethernet 的定位
Ultra Ethernet 為標準乙太網路增加封包噴灑和多路徑 RDMA，執行於支援 UEC 的 NIC 上。OcNOS-DC 如今已在生產環境中執行無損 RoCEv2，IP Infusion 是 Ultra Ethernet Consortium 的成員。
橫跨開放硬體的單一 NOS 映像檔
- 開放的硬體選擇。 在 UfiSpace 或 Edgecore 平台上以同一個 NOS 映像檔運行 RoCEv2，讓 fabric 層不受任何廠商鎖定。
- 分層級授權。 PFC、ECN 與 ETS 包含於 OcNOS-DC IPBASE 與 PLUS 層級。DLB、Dynamic ECN、PFC 死結復原與緩衝調校包含於 PLUS 層級。Feature Matrix 列出每項功能對應的平台。
標準 Ethernet、RDMA 效能、開放硬體
RoCEv2 讓 AI 網路能夠重複運用資料中心其餘部分既有的 Ethernet 維運方式與設備，而 OcNOS 正是讓它在開放交換器上實現無損的推手。
標準 Ethernet，RDMA 速度
RoCEv2 透過可路由的 UDP/IP 承載 RDMA，讓 GPU 集體通訊無需另建專用網路，即可獲得低延遲、低 CPU 負擔的資料傳輸。
開放硬體選擇
同一套無損設定可在 400G 與 800G 的 UfiSpace 與 Edgecore 交換器上運行，讓 fabric 層維持多廠商架構。
OcNOS 是推手
PFC、ECN、DLB 與串流遙測以單一 NOS 形式在開放交換器上提供，因此完整的無損 fabric 是直接建置，而非整合專案。
RoCEv2，為您解答
什麼是 RoCEv2？
RoCEv2與RoCEv1有何區別？
RoCEv2 是否需要 lossless 網路？
RoCEv2使用哪個UDP連接埠？
RoCEv2 與 InfiniBand 相比如何？
深入了解，隨身帶走。
產品規格書，以及內容比本頁更為深入的簡明技術下載資料。
OcNOS-DC 規格書
完整的 OcNOS-DC 規格：EVPN-VXLAN 與 Ethernet for AI 功能集、軟體 SKU、支援的硬體平台，以及解決方案訂購指南。
取得規格書OcNOS 800G 無損 AI Fabric
基於 Tomahawk 5 spine 的無損 RoCEv2 fabric：SKU 等級、經認證的平台與部署架構。
取得簡報EVPN-VXLAN 資料中心網路
基於 EVPN-VXLAN 的 leaf-spine 資料中心 fabric：每租戶一個 VRF 與多個 VNI、EVPN 多歸屬、BGP unnumbered 與 route-target 過濾。
取得簡報OcNOS-DC 規格書
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
OcNOS 800G 無損 AI Fabric
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
EVPN-VXLAN 資料中心網路
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開，請使用下方連結。
正在建置或擴充 AI 網路嗎？取得針對工作負載的專屬評估
只要告訴我們 GPU 規模與集體通訊模式，IP Infusion 的工程師就會與您一同規劃各交換器層的規模並調校無損組態，或者您也可以先在 AI Fabric Design Suite 中建立初步的葉主幹配置。
以 OcNOS 設計整套 AI 網狀架構
從商業論證到埠數計算，無論您的建置進行到哪個階段，都能從此接續。