PFC · ECN · DCQCN

什麼是無損乙太網路?

無損乙太網路是經過設定的標準乙太網路,使選定的一類流量(通常是 RDMA)在壅塞下不被丟棄。 Priority Flow Control(PFC)會在特定優先權佇列溢位前將其暫停,Explicit Congestion Notification(ECN)會提早標記封包使傳送端降速,而 DCQCN 則將交換器的 ECN 標記與 NIC 的速率控制綁定。RoCEv2 需要這條不丟包的路徑,而 OcNOS-DC 在 Broadcom Tomahawk 5 上提供這些控制機制。

No-dropRDMA 流量類別
3 controlsPFC · ECN · DCQCN
Tomahawk 5OcNOS-DC 無損堆疊
gNMI閉迴路遙測
三項控制機制

PFC、ECN 與 DCQCN,以及它們如何分層

設計意圖是一道階梯。ECN 與 DCQCN 執行日常工作,讓佇列維持淺層以使流量持續流動;PFC 僅在突發流量超過它們負荷時介入,暫時暫停某個優先權而非丟棄。若某個 fabric 不斷觸發 PFC,需要調校的是其 ECN 門檻,而非更多 PFC。

後盾

Priority Flow Control(PFC)

PFC 在某個優先權佇列的緩衝即將溢位時,逐跳暫停該佇列 ,因此不會丟棄任何東西。它粗略而快速,作為最後防線而非日常控制之用。

主要控制機制

Explicit Congestion Notification(ECN)

ECN 在佇列開始堆積時標記封包。 接收端 NIC 會通知傳送端,使其在佇列填滿前先降低速率。它細緻而連續,執行日常工作。

The loop

DCQCN

DCQCN 將交換器上的 ECN 標記與 NIC 上的速率控制綁定。 交換器的角色是 ECN 標記;NIC 負責速率調整。兩者共同維持佇列低位,而不觸發 PFC。

為何 RDMA 需要它

為何 RoCEv2 需要一條無損路徑

RDMA 是為不丟包的傳輸而打造。 RoCEv2 在 UDP 與 IP 上承載 RDMA,使其能跨資料中心路由,但它也繼承了對遺失的低容忍度:單一被丟棄的封包就會迫使進行恢復,使尾端延遲飆升,並可能使 GPU 集合作業停滯,進而使整個訓練步驟停滯。

以 PFC 與 ECN 讓乙太網路路徑無損,賦予 RoCEv2 其原本設計所需的行為。這正是無損乙太網路存在於 AI fabric 的全部原因,也是為何生產環境的 RoCEv2 GPU fabric 總是運行在經無損設定的網路上。

在開放硬體上

OcNOS-DC 提供什麼

在 Broadcom Tomahawk 5 平台上,OcNOS-DC 是完整無損堆疊的推手,於叢集開通期間以閉迴路調校,而非憑猜測。

  • PFC,包含透過 DCBX 與 LLDP 的 L3 上 PFC,加上 PFC 死結偵測與恢復。
  • ECN 與 Dynamic ECN,搭配 Enhanced Transmission Selection(ETS)與 WRED。
  • 緩衝調校與 RTAG7 雜湊,將資料流分散於 fabric。
  • 透過 gNMI 與 OpenConfig 遙測串流壅塞與佇列計數器,用於閉迴路門檻調校。
常見問題

什麼是無損乙太網路 常見問題

什麼是無損乙太網?
無損乙太網路是經過設定的標準乙太網路,使選定的一類流量(通常是 RDMA)在網路壅塞時不被丟棄。它透過 Priority Flow Control(PFC)達成——在特定優先權佇列的緩衝溢位前將其暫停;並透過 Explicit Congestion Notification(ECN)達成——提早標記封包,使傳送端在任何佇列填滿前先降速。目標是為那些對遺失反應不佳的流量提供一條不丟包的路徑,而不必讓整個網路都變成不丟包。
PFC、ECN 與 DCQCN 如何協同運作?
它們以不同速度運作。ECN 是主要的細緻控制:交換器在佇列開始堆積時標記封包,接收端 NIC 通知傳送端降低速率。DCQCN 是端對端的演算法,以連續迴路將交換器上的 ECN 標記與 NIC 上的速率控制綁定;DCQCN 中交換器的角色即為 ECN 標記。PFC 則是快速後盾:當佇列無論如何都將溢位時,PFC 逐跳暫停該優先權,使 ECN 與 DCQCN 生效期間不會丟棄任何東西。調校良好的 fabric 依靠 ECN 與 DCQCN,並將 PFC 保留作為最後手段。
為何 RoCEv2 需要無損乙太網路?
RoCEv2 是在 UDP 與 IP 上承載的 RDMA。RDMA 是為不丟包的傳輸而設計,因此被丟棄的封包會迫使進行恢復,代價是高昂的尾端延遲,並可能使 GPU 集合作業停滯。以 PFC 與 ECN 讓乙太網路路徑無損,賦予 RoCEv2 其所預期的不丟包行為,這也是為何生產環境的 RoCEv2 GPU fabric 總是運行在經無損設定的網路上。
OcNOS-DC 支援哪些無損功能?
在 Broadcom Tomahawk 5 硬體上,OcNOS-DC 支援 PFC(含透過 DCBX 與 LLDP 的 L3 上 PFC)、ECN、Dynamic ECN、Enhanced Transmission Selection(ETS)、WRED,以及 PFC 死結偵測與恢復,並搭配緩衝調校與 RTAG7 雜湊。壅塞狀態與佇列計數器透過 gNMI 與 OpenConfig 遙測串流,用於閉迴路調校。詳見 PFC 死結與 DCQCN 頁面,了解每一項背後的細節。

要調校無損 fabric 嗎?讓我們一起設定門檻

告訴我們 GPU 規模與流量類別,IP Infusion 工程師便會與您一起設定 PFC、ECN 與 DCQCN,而不是把門檻留給猜測。