デッドロック回復 · RoCEv2 · ロスレス

PFCデッドロックの検出とリカバリ

PFC デッドロックは、ロスレスファブリックを無期限にハングさせ得る唯一の障害です。一時停止した優先度キューが互いに待ち合う、循環的なバッファ依存関係です。 OcNOS-DC のデッドロックの検出と回復はポート単位かつ優先度単位で動作します。Broadcom Tomahawk 3、4、5、Trident 3(X4、X5、X7)および Trident 4 上で、一時停止キューのサイクルを検出し、ジョブがハングする前にキューを自動的にドレインします。

ポート単位および優先度単位のデッドロック検出
設定可能検出およびリカバリのタイマー
TH3~TH5および Trident 3(X4、X5、X7)と Trident 4
OcNOS-DC PLUSライセンスティア

3 スイッチによる一時停止サイクル

循環依存関係にある 3 台のスイッチ。各スイッチは自身のロスレス優先度キューで一時停止し、次のスイッチのドレインを待っています。介入がなければ、このサイクルは永遠に安定したままです。OcNOS のデッドロック検出は設定されたタイムアウト後に発動し、Switch-A のキュー 3 をドレインすることで、サイクルは崩れます。

PFC デッドロックサイクルとその回復 三角形に配置された 3 台のスイッチ。ポーズの矢印が各スイッチから次のスイッチへ時計回りに向かい、各スイッチが下流のスイッチを待って停止していることを示します。Switch-A のタイマーアイコンは、OcNOS のデッドロック検出タイマーが満了してキューを排出し、循環を断ち切る様子を示しています。 PFC ポーズ(CoS 3) PFCポーズ PFCポーズ WD タイマー満了 キュー3をドレイン Switch-AQ3 で一時停止B を待機中 Switch-BQ3 で一時停止C を待機中 Switch-CQ3 で一時停止A を待機中 PFC デッドロック · 検出のタイムアウト · キューの排出 · 自動回復

PFC がデッドロックを引き起こす仕組み

PFC は RoCEv2 をロスレスにするものであり、行儀のよいトポロジ上では決して問題を引き起こしません。この障害モードは、マルチパスファブリック上で一時停止キューのサイクルが閉じたときにのみ現れます。

PFC はホップごとの一時停止です。スイッチは自身のロスレス ingress キューがしきい値を超えて満たされると上流に対して一時停止を通知し、上流は送信を停止します。単一方向のフローを持つツリートポロジ上では、これは安全です。複数のパスを持つ leaf-spine ファブリック上では、リンク障害を回避する ECMP の再ルーティングが、特定の条件下で、すべてのスイッチが次を待って一時停止する循環パスを生み出すことがあります。この循環的なバッファ依存関係、すなわち一時停止した優先度キューが互いに待ち合う状態が、PFC デッドロックです。

いったんサイクルが形成されると安定します。一時停止したフレームを保持するのに十分なバッファがあり、ルーティングプロトコルはすべてが収束したと認識し、PFC は各スイッチ上で通知を繰り返し続けます。介入がなければ、影響を受けたロスレス優先度は無期限にハングします。 RoCEv2 トラフィックが停止し、xCCL(RCCL、oneCCL)コレクティブがタイムアウトし、トレーニングジョブが停止します。

OcNOS-DCのデッドロック検出と回復

ポート単位かつ優先度単位のタイマーで、一時停止キューのサイクルを検出し、ジョブがハングする前に該当キューをドレインし、その後自動的に通常の PFC を復元します。検出・復旧・復元が中核の三要素であり、チューニングとライセンスがそれを補完します。

検出

ポート単位・優先度単位のタイマー

タイマーは ingress ポート単位かつロスレス優先度単位で動作します。優先度が設定された検出時間にわたって連続して一時停止した場合、デッドロック検出が発動し、回復が始まります。

回復

自動キュードレイン

デッドロックが検出されると、設定されたリカバリ時間の間リカバリが実行されます。デフォルトでは一時停止されていたトラフィックが転送され、サイクルが解消されます。リカバリアクションをドロップに設定した場合は、それらのフレームがドロップされ、RDMA NIC が再送します。

復旧

復旧後の自動リストア

設定された復旧インターバルの経過後、該当プライオリティで通常の PFC 動作が再開します。オペレーターの介入は不要です。

調整可能

オペレーターが設定可能なタイマー

検出乗数、時間粒度、リカバリ時間は、インターフェース単位でCLIから構成可能。重要度の高いクラスターではオペレーターがタイマーを短縮できます。

適用範囲

DC-PLUSライセンスティア

OcNOS-DC PLUS SKUに含まれる。Broadcom Tomahawk 3、Tomahawk 4、Tomahawk 5、Trident 3(X4、X5、X7)およびTrident 4プラットフォームでサポート。

デッドロック回復は、ロスレススタックの他部分を支えるセーフティネット

最良のデッドロックは、そもそも形成されないものです。輻輳制御、それが保護するロスレストランスポート、そして動的ロードバランシングはいずれも、そもそもキューを一時停止しきい値から遠ざけます。デッドロック回復は、それらが機能しなかった場合の最後の砦です。

輻輳制御

DCQCN (NIC 上)は、スイッチが ECN でパケットにマーキングすると、ingress キューが PFC しきい値まで満たされる前に送信側の速度を落とすため、一時停止が通知される頻度ははるかに低くなり、サイクルが閉じる機会もめったに生じません。

ロスレストランスポート

RoCEv2 は、PFC が保護するために存在する RDMA トランスポートです。デッドロック回復は、RoCEv2 を大規模にロスレスで運用することを、理論上のリスクではなく安全なものにします。

動的ロードバランシング

DLB は、輻輳したアップリンクからフローレットを再配分して負荷を分散させることで、ingress キューが一時停止を引き起こすしきい値に達しにくくします。

稀であることは決して起きないことを意味しません。そこにこそ要点があります

適切なトポロジーとルーティングを備えた良設計のファブリックでは、PFC デッドロックは稀です。それでもデッドロック回復が重要なのは、その条件が発生する可能性が残るからです。

発動の引き金

ルーティング収束ウィンドウ中のリンク障害、単一ポートでの PFC 優先度の設定ミス、あるいは通常とは異なるトラフィックパターンでの一時的な輻輳イベントは、いずれもその条件を生み出し得ます。

デッドロック回復がない場合

デッドロックが実際に形成されると、AI クラスターは停止し、運用チームはルーティングプロトコルが正常と報告するハングを追い続けることになります。

デッドロック回復がある場合

停止したジョブの代わりに、短い再送バーストとログ記録されたイベントで済みます。AI Fabric Sizing Tool を用いて、デッドロックの発生を稀に保つトポロジとスイッチ階層を設計してください。

デッドロック回復が PFC を大規模導入に対して安全にする理由

ロスレス Ethernet に対する唯一の理論上の懸念を、ログに記録され自動的に解消されるイベントに変えます。

  • ロスレスのセーフティネット。 デッドロック回復の有無が、「本番AIファブリックにおけるPFCは理論上リスクがある」と「PFCは大規模環境でも安全に導入できる」との違いを生みます。
  • 自動リカバリ。 リカバリは設定されたリカバリ時間の間実行され、その後通常の PFC が再開します。デフォルトでは、一時停止されていたトラフィックはドロップされずに転送されます。
  • インターフェース単位の構成。 デッドロックの検出と回復は、ロスレストラフィックを伝送する各インターフェースで、検出およびリカバリのタイマーとともに有効化します。
  • 重要度に応じて調整可能。 重要なトレーニングクラスターではタイマーを下げてください。次をご覧ください 機能マトリクスの PFC と 認定済みハードウェアリスト.

PFC デッドロック、その答え

PFCデッドロックの原因は何ですか。
PFC はホップバイホップのポーズです。マルチパスファブリックでは、リンク障害を回避する ECMP の再ルーティングが、特定の条件下で、すべてのスイッチが次のスイッチを待ってポーズする循環パスを生み出すことがあります。この循環的なバッファ依存は安定的であり、何かがそれを解消するまで無損失プライオリティはハングします。
OcNOSのPFCデッドロック回復はどのように機能しますか。
ロスレスなプライオリティが設定された検出時間にわたって一時停止したままの場合、ポートごと、プライオリティごとのタイマーが作動します。その後、設定されたリカバリ時間の間リカバリが実行され、オペレーターの介入なしで自動的に終了します。デフォルトでは、リカバリ中は一時停止されていたトラフィックが転送されます。OcNOSでは代わりにドロップするよう設定することもできます。
デッドロック回復はトラフィックを廃棄しますか。
デフォルトではドロップしません。リカバリ中、OcNOS は一時停止されていたトラフィックを転送します。リカバリアクションをドロップに設定した場合は、リカバリ期間中のフレームが破棄され、RDMA NIC のトランスポートがそれらを再送します。
PFC デッドロック検出はデフォルトで有効になっていますか。
デッドロックの検出と回復はインターフェースごとに有効化し、検出およびリカバリのタイマーは CLI で設定します。Broadcom Tomahawk 3、Tomahawk 4、Tomahawk 5、Trident 3(X4、X5、X7)および Trident 4 プラットフォームでは OcNOS-DC PLUS SKU の一部として提供されます。

さらに詳しく。資料をお持ち帰りください。

製品データシートと、このページよりもさらに踏み込んだ簡潔で技術的なダウンロード資料です。

データシート

OcNOS-DC データシート

OcNOS-DC の完全な仕様。EVPN-VXLAN と Ethernet for AI の機能セット、ソフトウェア SKU、サポート対象ハードウェアプラットフォーム、ソリューション発注ガイドを収録しています。

データシートを入手
ソリューションブリーフ

OcNOS 800G ロスレス AI Fabric

Tomahawk 5 スパイン上のロスレス RoCEv2 ファブリック:SKU 階層、認定済みプラットフォーム、導入アーキテクチャ。

概要資料を入手
ソリューションブリーフ

EVPN-VXLAN データセンターファブリック

EVPN-VXLAN によるリーフスパイン型データセンターファブリック:テナントごとの VRF と VNI、EVPN マルチホーミング、BGP unnumbered、ルートターゲットフィルタリング。

概要資料を入手

新しいファブリックで無損失動作を検証しますか。デッドロック回復から始めてください

ワークロードと GPU 規模をお知らせいただければ、IP Infusion のエンジニアが無損失設計を一緒にレビューします。あるいは AI Fabric Design Suite で leaf-spine レイアウトの初回案から始めることも可能です。