DCQCN:適用於 RDMA 的量化擁塞控制
DCQCN 讓 RoCEv2 網狀架構在無需長期依賴 PFC 暫停的情況下維持無損。 交換器提早標記 ECN,接收端回送 CNP,發送端則量化其速率,因此發送端會在佇列溢位前減速。OcNOS-DC 出貨時即針對 xCCL 集合通訊工作負載(NCCL、RCCL、oneCCL)預先調校好預設值,並為需要偏離的網狀架構開放每一項門檻值。
DCQCN 閉迴路
發送端 NIC、壅塞的交換器、接收端 NIC。交換器的 WRED ECN 標記器會在佇列觸及 PFC 暫停門檻之前觸發。接收端產生一個壅塞通知封包(CNP);發送端的反應點降低速率,隨後再逐步回升。無損、無 PFC 壓力、快速收斂。
DCQCN 在 AI 網路中所承擔的工作
RoCEv2 有兩種處理壅塞的方式:PFC 暫停,這是一種逐躍點傳播的反向壓力;以及 DCQCN,一種端到端的速率控制迴路。單靠 PFC 也能運作,但它會將壅塞往上游推,並有引發暫停風暴與線頭阻塞的風險。DCQCN 則搶在 PFC 之前運作,在佇列達到暫停門檻之前就以 ECN 標記封包,使發送端在交換器不得不啟動暫停之前就先減速。
做得好,您 fabric 生命周期的大部分時間都只依賴 DCQCN 反饋,以 PFC 作為安全兜底。做得差,ECN 閾值與 PFC headroom 不匹配,即便配置了 DCQCN,您仍會遭遇 pause 風暴。 閾值調優是全部關鍵所在、OcNOS-DC 提供針對 xCCL 集體通信調優的預設值,同時為具有特定流量模式的 fabric 開放所有參數。
接收端回送 CNP
針對每一條被標記的流量,向發送端產生一個回送的 CNP,速率上限約為 每條流量每 50 µs 一個.
PFC 暫停與 DCQCN,並列比較
兩者都能維持 RoCEv2 無損,但作用點不同。調校目標是讓網狀架構在其生命週期中以 DCQCN 回饋為主,並將 PFC 保留作為後備防線。
| Axis | PFC 暫停backstop | DCQCN主要控制 |
|---|---|---|
| Mechanism | 逐躍點向上游傳播的反向壓力。 | 從發送端到接收端的端到端速率控制迴路。 |
| 觸發點 | 當佇列達到暫停門檻時觸發。 | 在佇列達到暫停門檻之前標記 ECN。 |
| 失效模式 | 有引發暫停風暴與線頭阻塞的風險。 | 發送端在交換器不得不啟動暫停之前就先減速。 |
| 在網狀架構中的角色 | 僅作為安全後備,用於緩衝區仍被填滿時。 | 在網狀架構的大部分生命週期中作為主要控制。 |
| Scope | 鏈路層級,一次一個躍點。 | 端到端,從發送端一路到接收端。 |
OcNOS DCQCN 實現方案
開箱即為 xCCL 等級的預設值,每一項門檻值皆以 YANG 建模的路徑開放,套用前會針對 PFC 餘裕進行驗證,並在啟用階段以遙測方式串流回傳。
K-min, K-max, P-max
按優先級隊列進行 WRED ECN 標記,K-min 與 K-max 閾值及 P-max 標記概率均可配置。開箱即享 xCCL 級預設值,以 YANG 路徑開放供調優。
獨立於 PFC
ECN 標記與 PFC pause 閾值是獨立配置的。兩者不匹配是最常見的 DCQCN 配置錯誤。OcNOS 會在應用之前,校驗 K-max、headroom 與 pause 觸發之間的關係。
基於 VXLAN 的 ECN
ECN 位元在 VXLAN 封裝與解封裝過程中皆被保留,因此 DCQCN 能跨 EVPN-VXLAN 疊加網路端到端運作,而不僅限於底層網路。
每隊列 ECN 計數器
通過 gNMI 流式上報每個出向隊列被 ECN 標記的報文計數、隊列深度分布以及 CNP 觸發速率。可在叢集上線(bring-up)期間進行閉環調優。
為什麼這一點比聽起來更重要
多數「RoCEv2 表現不如預期」的支援案例,最終都歸因於 DCQCN 門檻值未對齊。這項錯誤的兩個極端看似相反,卻都使網狀架構調校失當。
- ECN 已設定卻從不標記(K-min 過高):PFC 承擔起整個壅塞控制的負擔。
- ECN 標記過於積極(K-min 過低):發送端在出現任何真正壅塞之前就降低速率。
- OcNOS-DC 出貨的預設值適用於多數 TH4 與 TH5 網狀架構;若某個網狀架構需要偏離,每一項參數皆以 YANG 建模且可驗證。
若要估算這些預設值所運行的葉脊各層規模,請試用 AI Fabric 規模估算工具,或查看 AI fabric 拓撲 ,這些預設值即是為此而調校。
DCQCN 承擔負載,PFC 維持後備
健康的 RoCEv2 網狀架構仰賴 ECN 回饋運行,幾乎不觸及 PFC。OcNOS-DC 出貨時即以這樣的平衡作為預設,並在工作負載需要不同設定時,讓每一項門檻值都觸手可及。
開箱即為 xCCL 調校完成
OcNOS-DC 出貨的預設值已針對 xCCL 集合通訊流量預先調校,因此多數網狀架構在 TH4 與 TH5 上無需更動任何門檻值即可良好運行。
DCQCN,為您解答
什麼是 DCQCN?
DCQCN 如何運作?
DCQCN與PFC如何協同運作?
DCQCN 中的 ECN K-min 與 K-max 門檻值是什麼?
DCQCN 是否需要 RoCEv2?
深入了解,隨身帶走。
產品規格書,以及內容比本頁更為深入的簡明技術下載資料。
OcNOS 800G 無損 AI Fabric
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開,請使用下方連結。
EVPN-VXLAN 資料中心網路
表單簡短。提交後您的 PDF 將立即在新標籤頁中打開。
✓ 正在新標籤頁中打開您的 PDF……
如果未能自動打開,請使用下方連結。
正在為實際工作負載調校 DCQCN 嗎?把您的追蹤資料交給我們
把您的 ECN 計數器與佇列追蹤資料寄給我們,IP Infusion 的工程師將協助您對齊 K-min、K-max 與 PFC 餘裕,或者您也可以先在 AI Fabric Design Suite 中初步規劃葉脊式配置。
以 OcNOS 設計整套 AI 網狀架構
從商業論證到埠數計算,無論您的建置進行到哪個階段,都能從此接續。