ECN · CNP · RoCEv2

DCQCN：RDMA 向け Quantized Congestion Control

DCQCN（Data Center Quantized Congestion Notification）は、ロスレスな RoCEv2 ファブリックを PFC ポーズに頼り続けることなく運用できるようにするエンドツーエンドの輻輳制御です。スイッチが ECN を早期にマーキングし、受信側が CNP を返し、送信側がレートを量子化して調整するため、キューがオーバーフローする前に送信側が減速します。

トレースをお持ちください AI ファブリック設計スイートを開く

クローズドループECN マーク、CNP、レート低減

PFC より先にポーズに先立つ ECN マーク

DCQCN クローズドループ

送信側 NIC、輻輳したスイッチ、受信側 NIC。スイッチの WRED ECN マーカーは、キューが PFC ポーズしきい値に達する前に発動します。受信側は輻輳通知パケット（CNP）を生成し、送信側のリアクションポイントがレートを低減した後、再び上昇させます。ロスレス、PFC 圧力なし、高速収束。

AIファブリックにおいてDCQCNが担う役割

RoCEv2 には輻輳を処理する 2 つの方法があります。ホップごとに伝播するバックプレッシャーである PFC ポーズと、エンドツーエンドのレート制御ループである DCQCN です。PFC 単独でも機能しますが、輻輳を上流へ押しやり、ポーズストームやヘッドオブラインブロッキングのリスクを招きます。DCQCN は PFC に先立って機能し、キューがポーズしきい値に達する前にパケットを ECN でマークするため、スイッチがポーズを発動せざるを得なくなる前に送信側が速度を落とします。

うまく設計すれば、ファブリックの運用時間の大半を DCQCN フィードバックのみで過ごし、PFC は安全策として機能します。設計が不適切だと、ECN しきい値が PFC ヘッドルームと整合せず、DCQCN を設定していてもポーズストームが発生します。

リアクションポイント

送信側 NIC がレートを量子化

CNP を受信し、DCQCN を実行 α 更新、乗算的減少、加算的増加ループにより送信レートを量子化します。

RoCEv2ロスレスファブリック

輻輳ポイント

スイッチが早期に ECN をマーク

ECN 対応パケットにマークを付与し CE キュー深度が K-min を超えると WRED カーブを用い、マーキング確率は K-max で P-max まで線形に上昇します。

PFCデッドロック検出

通知ポイント

受信側が CNP をエコー

マークされた各フローについて送信側へ CNP を生成し、およそ次にレート制限されますフローあたり 50 µs に 1 回.

PFC ポーズと DCQCN の対比

どちらも RoCEv2 をロスレスに保ちますが、作用する地点が異なります。チューニングの目標は、ファブリックの稼働寿命を DCQCN フィードバックで過ごし、PFC はバックストップとして予備に留めることです。

観点	PFCポーズ最後の砦	DCQCN主制御
仕組み	上流へ伝播するホップごとのバックプレッシャー。	送信側から受信側へのエンドツーエンドのレート制御ループ。
トリガーポイント	キューがポーズしきい値に達すると発動します。	キューがポーズしきい値に達する前に ECN をマークします。
障害モード	ポーズストームやヘッドオブラインブロッキングのリスクを招きます。	スイッチがポーズを発動せざるを得なくなる前に送信側が速度を落とします。
ファブリックにおける役割	バッファがなお満杯になった場合のための、安全バックストップのみ。	ファブリックの稼働寿命の大半における主制御。
適用範囲	リンクレベル、一度に 1 ホップ。	エンドツーエンド、送信側から受信側まで。

OcNOS-DC における ECN マーキング

WRED曲線

K-min, K-max, P-max

設定可能な K-min および K-max しきい値と P-max マーキング確率を備えた、優先度キュー単位の WRED ECN マーキング。

フィーチャーマトリクス内のECN

プライオリティ単位

PFC 非依存

ECN マーキングは PFC の一時停止しきい値とは独立して設定されます。

PFCデッドロック検出

VXLAN 対応

VXLAN上のECN

Trident 3（X4、X5、X7）および Trident 4 プラットフォームでは、ECN ビットは VXLAN のカプセル化およびカプセル化解除を通じて保持されるため、DCQCN はアンダーレイ上だけでなく、EVPN-VXLAN オーバーレイ全体でエンドツーエンドに機能します。

AI ファブリックソリューション

適用範囲

ライセンスティア

PFCとECNはOcNOS-DCのIPBASEおよびPLUSのSKUに含まれます。Dynamic ECN、PFCデッドロックの検出と回復、VXLAN上のPFCとECNはPLUSのSKUに含まれます。

OcNOS-DC

これが見かけ以上に重要である理由

ECN しきい値のずれには、正反対に見える 2 つの極端がありますが、どちらもファブリックを不適切なチューニング状態にします。

ECN は設定されているがマークされない（K-min が高すぎる）。PFC が輻輳制御の負担をすべて担います。
ECN が過度に積極的にマークする（K-min が低すぎる）。実際の輻輳が生じる前に送信側がレートを低減します。

DCQCN、その答え

DCQCN とは何ですか。

DCQCN（Data Center Quantized Congestion Notification）は、Ethernet の AI およびストレージファブリック上の RoCEv2 RDMA トラフィック向けの輻輳制御アルゴリズムです。キューがオーバーフローする前に送信側を抑制するため、GPU およびストレージのフローは PFC ポーズに費やす時間が減り、ストールを回避できます。

DCQCN はどのように機能しますか。

DCQCN は閉ループで動作します。キューがしきい値を超えるとスイッチがパケットに ECN マーキングを施し、受信側は Congestion Notification Packet（CNP）を送信側に返送します。送信側は送信レートを引き下げ、その後、輻輳が解消するにつれて段階的に回復させます。

DCQCNとPFCはどのように連携して動作しますか。

DCQCNが主たる制御であり、PFCは最後の砦です。ECNマーキングとCNPフィードバックが送信側を早期に減速させるため、フローがポーズに至ることはめったにありません。PFCはそれでもバッファが埋まる場合にのみ発動し、パケット損失を防ぎます。チューニングは、fabricをECN制御下に保ち、PFCポーズの継続を回避することを目的とします。

DCQCN における ECN の K-min および K-max のしきい値とは何ですか。

K-min と K-max は、ECN マーキングを制御するキュー深度のしきい値です。K-min を下回るとパケットはマーキングされず、K-max を上回るとすべてがマーキングされます。その間ではマーキング確率が設定された最大値に向かって上昇するため、輻輳シグナリングは急激に作動するのではなく、キューの増大に応じて段階的に変化します。

DCQCN には RoCEv2 が必要ですか。

はい、DCQCN は RoCEv2 RDMA トラフィック向けに設計されており、RoCEv2 エンドポイントが CNP フィードバックを生成し、それに応じて動作することを前提としています。ネットワーク内の ECN と RoCEv2 送信側でのレート制御を組み合わせるため、RoCEv2 fabric における標準的な輻輳制御の選択肢となっています。