ECN · CNP · RoCEv2

DCQCN:適用於 RDMA 的量化擁塞控制

DCQCN 讓 RoCEv2 網狀架構在無需長期依賴 PFC 暫停的情況下維持無損。 交換器提早標記 ECN,接收端回送 CNP,發送端則量化其速率,因此發送端會在佇列溢位前減速。OcNOS-DC 出貨時即針對 xCCL 集合通訊工作負載(NCCL、RCCL、oneCCL)預先調校好預設值,並為需要偏離的網狀架構開放每一項門檻值。

Closed loopECN 標記、CNP、降速
Before PFCECN 在暫停之前標記
xCCL預先調校的 OcNOS-DC 預設值
DC-PLUSOcNOS-DC 授權層級
運作機制

DCQCN 閉迴路

發送端 NIC、壅塞的交換器、接收端 NIC。交換器的 WRED ECN 標記器會在佇列觸及 PFC 暫停門檻之前觸發。接收端產生一個壅塞通知封包(CNP);發送端的反應點降低速率,隨後再逐步回升。無損、無 PFC 壓力、快速收斂。

DCQCN 閉環擁塞控制 從左到右共三個方框:發送端網卡(reaction point)、帶 WRED ECN 標記器的擁塞交換機、接收端網卡(notification point)。正向箭頭表示報文從左向右流動並被交換機標記。反向箭頭表示 CNP 從右向左回傳至發送端。標註指明了 ECN K-min、K-max 閾值以及 CNP 反饋路徑。 數據 + 支持 ECN ECN = CE(已標記) CNP:擁塞通知報文 發送端 NIC反應點(Reaction Point)α-update · cut · ramp OcNOS-DC 交換機WRED ECN 標記器K-min · K-max · P-max 接收端 NIC通知點CNP every 50 µs DCQCN · WRED MARKING · CNP FEEDBACK · QUANTIZED RATE LIMIT · LOSSLESS RoCEv2
它的作用

DCQCN 在 AI 網路中所承擔的工作

RoCEv2 有兩種處理壅塞的方式:PFC 暫停,這是一種逐躍點傳播的反向壓力;以及 DCQCN,一種端到端的速率控制迴路。單靠 PFC 也能運作,但它會將壅塞往上游推,並有引發暫停風暴與線頭阻塞的風險。DCQCN 則搶在 PFC 之前運作,在佇列達到暫停門檻之前就以 ECN 標記封包,使發送端在交換器不得不啟動暫停之前就先減速。

做得好,您 fabric 生命周期的大部分時間都只依賴 DCQCN 反饋,以 PFC 作為安全兜底。做得差,ECN 閾值與 PFC headroom 不匹配,即便配置了 DCQCN,您仍會遭遇 pause 風暴。 閾值調優是全部關鍵所在、OcNOS-DC 提供針對 xCCL 集體通信調優的預設值,同時為具有特定流量模式的 fabric 開放所有參數。

反應點(Reaction Point)

發送端 NIC 量化其速率

接收 CNP 並執行 DCQCN 的 α-update、乘性遞減、加性遞增 迴路以量化其發送速率。

壅塞點

交換器提早標記 ECN

將支持 ECN 的報文標記為 CE 當佇列深度越過 K-min 時,使用 WRED 曲線,標記機率隨之線性上升,至 K-max 時達到 P-max。

通知點

接收端回送 CNP

針對每一條被標記的流量,向發送端產生一個回送的 CNP,速率上限約為 每條流量每 50 µs 一個.

處理壅塞的兩種方式

PFC 暫停與 DCQCN,並列比較

兩者都能維持 RoCEv2 無損,但作用點不同。調校目標是讓網狀架構在其生命週期中以 DCQCN 回饋為主,並將 PFC 保留作為後備防線。

Axis PFC 暫停backstop DCQCN主要控制
Mechanism逐躍點向上游傳播的反向壓力。從發送端到接收端的端到端速率控制迴路。
觸發點當佇列達到暫停門檻時觸發。在佇列達到暫停門檻之前標記 ECN。
失效模式有引發暫停風暴與線頭阻塞的風險。發送端在交換器不得不啟動暫停之前就先減速。
在網狀架構中的角色僅作為安全後備,用於緩衝區仍被填滿時。在網狀架構的大部分生命週期中作為主要控制。
Scope鏈路層級,一次一個躍點。端到端,從發送端一路到接收端。
In OcNOS-DC

OcNOS DCQCN 實現方案

開箱即為 xCCL 等級的預設值,每一項門檻值皆以 YANG 建模的路徑開放,套用前會針對 PFC 餘裕進行驗證,並在啟用階段以遙測方式串流回傳。

WRED 曲線

K-min, K-max, P-max

按優先級隊列進行 WRED ECN 標記,K-min 與 K-max 閾值及 P-max 標記概率均可配置。開箱即享 xCCL 級預設值,以 YANG 路徑開放供調優。

Per-Priority

獨立於 PFC

ECN 標記與 PFC pause 閾值是獨立配置的。兩者不匹配是最常見的 DCQCN 配置錯誤。OcNOS 會在應用之前,校驗 K-max、headroom 與 pause 觸發之間的關係。

VXLAN 感知

基於 VXLAN 的 ECN

ECN 位元在 VXLAN 封裝與解封裝過程中皆被保留,因此 DCQCN 能跨 EVPN-VXLAN 疊加網路端到端運作,而不僅限於底層網路。

遙測

每隊列 ECN 計數器

通過 gNMI 流式上報每個出向隊列被 ECN 標記的報文計數、隊列深度分布以及 CNP 觸發速率。可在叢集上線(bring-up)期間進行閉環調優。

Diagnostics

在投入前先驗證

以 CLI 進行合理性檢查,確認 K-min、K-max 與 PFC 餘裕在數學上與配置給無損優先權的緩衝空間一致。設定錯誤時快速失敗。

Scope

DC-PLUS 許可層級

屬於 OcNOS-DC PLUS SKU 的一部分。同款鏡像、同款支持;無需任何按功能付費的附加項即可激活無損 RDMA 協議棧。

失效模式

為什麼這一點比聽起來更重要

多數「RoCEv2 表現不如預期」的支援案例,最終都歸因於 DCQCN 門檻值未對齊。這項錯誤的兩個極端看似相反,卻都使網狀架構調校失當。

  • ECN 已設定卻從不標記(K-min 過高):PFC 承擔起整個壅塞控制的負擔。
  • ECN 標記過於積極(K-min 過低):發送端在出現任何真正壅塞之前就降低速率。
  • OcNOS-DC 出貨的預設值適用於多數 TH4 與 TH5 網狀架構;若某個網狀架構需要偏離,每一項參數皆以 YANG 建模且可驗證。

若要估算這些預設值所運行的葉脊各層規模,請試用 AI Fabric 規模估算工具,或查看 AI fabric 拓撲 ,這些預設值即是為此而調校。

IP Infusion 的觀點

DCQCN 承擔負載,PFC 維持後備

健康的 RoCEv2 網狀架構仰賴 ECN 回饋運行,幾乎不觸及 PFC。OcNOS-DC 出貨時即以這樣的平衡作為預設,並在工作負載需要不同設定時,讓每一項門檻值都觸手可及。

DCQCN 承擔負載

ECN 標記與 CNP 回饋讓發送端提早減速,因此健康的網狀架構在其生命週期中大多以 DCQCN 為主,鮮少觸及 PFC 暫停。

開箱即為 xCCL 調校完成

OcNOS-DC 出貨的預設值已針對 xCCL 集合通訊流量預先調校,因此多數網狀架構在 TH4 與 TH5 上無需更動任何門檻值即可良好運行。

每一個調節項皆已建模

K-min、K-max 與 P-max 皆以 YANG 建模且可驗證,因此具有特定流量模式的網狀架構能安全地偏離預設。

常見問題

DCQCN,為您解答

什麼是 DCQCN?
DCQCN(Data Center Quantized Congestion Notification)是一種壅塞控制演算法,可在乙太網路 AI 與儲存 fabric 上使 RoCEv2 RDMA 流量保持 lossless。它在佇列溢位之前對傳送端進行限速,從而使 GPU 與儲存流量免於丟包與停頓。
DCQCN 如何運作?
DCQCN 以閉迴路方式運作:當某佇列越過其閾值時,交換器對封包進行 ECN 標記,接收方向發送方回送一個 Congestion Notification Packet(CNP),發送方隨即降低發送速率,之後隨著壅塞消退逐步恢復。
DCQCN與PFC如何協同運作?
DCQCN 是主要控制手段,PFC 則是最後防線。ECN 標記與 CNP 回饋會提早降低傳送端速率,因此流量很少觸及暫停。只有在緩衝區仍被填滿時 PFC 才會觸發,從而防止丟包。調校的目標是讓 fabric 保持在 ECN 控制之下,並避免持續的 PFC 暫停。
DCQCN 中的 ECN K-min 與 K-max 門檻值是什麼?
K-min 與 K-max 是驅動 ECN 標記的佇列深度門檻值。低於 K-min 時不標記任何封包;高於 K-max 時全部標記。在兩者之間,標記機率會朝設定的最大值上升,因此壅塞訊號會隨佇列增長而逐步變化,而非突然觸發。
DCQCN 是否需要 RoCEv2?
是的,DCQCN 專為 RoCEv2 RDMA 流量而設計,並仰賴 RoCEv2 端點產生 CNP 回饋並據此作出回應。它將網路中的 ECN 與 RoCEv2 傳送端的速率控制相結合,因此是 RoCEv2 fabric 的標準壅塞控制選擇。

正在為實際工作負載調校 DCQCN 嗎?把您的追蹤資料交給我們

把您的 ECN 計數器與佇列追蹤資料寄給我們,IP Infusion 的工程師將協助您對齊 K-min、K-max 與 PFC 餘裕,或者您也可以先在 AI Fabric Design Suite 中初步規劃葉脊式配置。