什麼是無損乙太網路?
無損乙太網路是經過設定的標準乙太網路,使選定的一類流量(通常是 RDMA)在壅塞下不被丟棄。 Priority Flow Control(PFC)會在特定優先權佇列溢位前將其暫停,Explicit Congestion Notification(ECN)會提早標記封包使傳送端降速,而 DCQCN 則將交換器的 ECN 標記與 NIC 的速率控制綁定。RoCEv2 需要這條不丟包的路徑,而 OcNOS-DC 在 Broadcom Tomahawk 5 上提供這些控制機制。
PFC、ECN 與 DCQCN,以及它們如何分層
設計意圖是一道階梯。ECN 與 DCQCN 執行日常工作,讓佇列維持淺層以使流量持續流動;PFC 僅在突發流量超過它們負荷時介入,暫時暫停某個優先權而非丟棄。若某個 fabric 不斷觸發 PFC,需要調校的是其 ECN 門檻,而非更多 PFC。
Priority Flow Control(PFC)
PFC 在某個優先權佇列的緩衝即將溢位時,逐跳暫停該佇列 ,因此不會丟棄任何東西。它粗略而快速,作為最後防線而非日常控制之用。
Explicit Congestion Notification(ECN)
ECN 在佇列開始堆積時標記封包。 接收端 NIC 會通知傳送端,使其在佇列填滿前先降低速率。它細緻而連續,執行日常工作。
DCQCN
DCQCN 將交換器上的 ECN 標記與 NIC 上的速率控制綁定。 交換器的角色是 ECN 標記;NIC 負責速率調整。兩者共同維持佇列低位,而不觸發 PFC。
為何 RoCEv2 需要一條無損路徑
RDMA 是為不丟包的傳輸而打造。 RoCEv2 在 UDP 與 IP 上承載 RDMA,使其能跨資料中心路由,但它也繼承了對遺失的低容忍度:單一被丟棄的封包就會迫使進行恢復,使尾端延遲飆升,並可能使 GPU 集合作業停滯,進而使整個訓練步驟停滯。
以 PFC 與 ECN 讓乙太網路路徑無損,賦予 RoCEv2 其原本設計所需的行為。這正是無損乙太網路存在於 AI fabric 的全部原因,也是為何生產環境的 RoCEv2 GPU fabric 總是運行在經無損設定的網路上。
OcNOS-DC 提供什麼
在 Broadcom Tomahawk 5 平台上,OcNOS-DC 是完整無損堆疊的推手,於叢集開通期間以閉迴路調校,而非憑猜測。
- PFC,包含透過 DCBX 與 LLDP 的 L3 上 PFC,加上 PFC 死結偵測與恢復。
- ECN 與 Dynamic ECN,搭配 Enhanced Transmission Selection(ETS)與 WRED。
- 緩衝調校與 RTAG7 雜湊,將資料流分散於 fabric。
- 透過 gNMI 與 OpenConfig 遙測串流壅塞與佇列計數器,用於閉迴路門檻調校。
什麼是無損乙太網路 常見問題
什麼是無損乙太網?
PFC、ECN 與 DCQCN 如何協同運作?
為何 RoCEv2 需要無損乙太網路?
OcNOS-DC 支援哪些無損功能?
要調校無損 fabric 嗎?讓我們一起設定門檻
告訴我們 GPU 規模與流量類別,IP Infusion 工程師便會與您一起設定 PFC、ECN 與 DCQCN,而不是把門檻留給猜測。
以 OcNOS 設計整套 AI 網狀架構
從商業論證到埠數計算,無論您的建置進行到哪個階段,都能從此接續。
深入了解,隨身帶走。
兩份簡短的技術下載,比本頁更深入:完整的 OcNOS-DC 資料表,以及無損 800G AI fabric 架構。
OcNOS 800G 無損 AI Fabric
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開,請使用下方連結。