ホーム · ドキュメント · テクノロジー · ダイナミックロードバランシング

ダイナミックロードバランシング：AI Fabric向けアダプティブルーティング

静的ハッシュ方式のECMPは、GPUコレクティブではなくノースサウスのWebトラフィック向けに設計されたものです。OcNOS Dynamic Load Balancing（DLB）は、サブミリ秒間隔でフローレットを輻輳の少ない経路へ再割り当てし、分散トレーニングワークロードにおけるEthernetとInfiniBandの差を縮めます。

リーフスパインファブリックにおける Adaptive Routing

GPU AllReduce トラフィックを伝送する4 スパイン、2 リーフのスライス。DLB はローカルのイグレスキュー深度をリアルタイムで測定します。Spine-3 が飽和すると、リーフは次のフローレットを Spine-2 へ再バインドし、4 本のアップリンクすべてのバランスを保ちます。

AIリーフスパインファブリック全体にわたるダイナミックロードバランシング 4スパイン2リーフのAIファブリック。リーフに接続されたGPUサーバがAllReduceフローを送信します。3本のスパインパスがバランスのとれたフローレットを運びます。4本目のスパインは輻輳しており（赤）、Dynamic Load Balancingが次のフローレットを負荷の低いスパインへ再配置します。下部の帯にはDLBメトリクスを表示：キュー深度、ポート使用率、フローレット再バインド。 Spine-3が輻輳 → 次のフローレットをSpine-2に再バインド Spine-1 キュー 18% Spine-2 キュー 22% Spine-3 キュー 92% Spine-4 キュー 25% Leaf-1 DLB・フローレット Leaf-2 DLB・フローレット GPU-0 GPU-1 GPU-2 GPU-3 DLB・キュー深度フィードバック・フローレット再バインド・輻輳認識ECMP

静的ECMPがAIファブリックで破綻する理由

標準的なECMPは、フロー開始時に5-tupleをハッシュして出力ポートを選択し、そのフローを生存期間全体にわたって同一ポートに固定します。ノースサウスのWebトラフィックでは、数百万の短命なフローが大数の法則により経路間の使用率を平準化します。AIファブリックでは、ごく少数の エレファントフロー はGPUの集合通信(AllReduce、AllGather、All-to-All)に起因し、それぞれが400Gまたは800Gのアップリンク全体を数秒間にわたり占有します。同じアップリンクにハッシュされた2つのエレファントフローは、その処理の間ずっと衝突し続け、その一方で別のアップリンクはアイドル状態のままとなります。

The result is hash polarisation: measured fabric utilisation around 50-60% with random hot-spots, and tail-latency outliers that stall the entire training job. DLB closes this gap by re-evaluating the path decision on every flowlet, a sub-flow chunk delimited by a small inter-packet gap, using live egress queue-depth and port-utilisation telemetry from the ASIC. To size a leaf-spine fabric for your GPU cluster, use the AI Fabric サイジングツール.

OcNOS の DLB 実装

フローレット検出

サブミリ秒ギャップタイマー

ASIC-native flowlet inactivity timer (typical 16-256 µs) splits long elephant flows into chunks safe to spray across paths without TCP/RoCEv2 reordering.

パス品質

キュー深度のリアルタイムフィードバック

DLBはTomahawkパイプラインから出力ポート単位のキュー占有率とリンク使用率のシグナルを取得し、すべてのECMPネクストホップをリアルタイムでスコアリング。

Re-bind

適応型ネクストホップ選択

フローレット境界において、最も品質の高いメンバーが選択されます。メンバー品質は数マイクロ秒ごとに再計算されるため、飽和したスパインは1フローレット以内に候補セットから除外されます。

Lossless

PFC・ECNとの協調チューニング

DLBはRoCEv2ロスレススタック（PFC、ECN/DCQCN、ヘッドルーム計算）と統合され、ポーズフレームが上流へ伝播する前にフローレットの再バインドが実行されます。

テレメトリ

gNMIエクスポート

メンバー単位のリバインド回数、フローレットギャップ分布、メンバー品質スコアをgNMIダイヤルアウトでストリーミングし、クローズドループのファブリックチューニングを実現。

ハードウェア

TH4 / TH5 ネイティブ

Broadcom Tomahawk 4（25.6T）およびTomahawk 5（51.2T）スパインプラットフォーム上で、64×400Gおよび64×800Gのポート構成にて検証済み。ソフトウェアファストパスへの性能ペナルティはありません。

本番 AI ファブリックにおける DLB の提供価値

  • より高い使用率。 業界公表のflowlet再配分ベンチマークでは、同一ハードウェア上で、追加のアップリンクを購入することなく、静的ECMPでの約55%から90%超へとファブリック利用率が向上します。
  • より低いテール遅延。 他のリンクがアイドル状態のまま単一リンクが飽和することがないため、P99.9のコレクティブ完了時間が引き締まります。
  • 学習を高速化。 最も遅いランクを待つGPUのアイドル時間が減ることは、AllReduce負荷の高いワークロードにおける測定可能なウォールクロック改善を意味します。
  • NICの変更不要。 DLB はスイッチ ASIC 上で動作。既存の RoCEv2 NIC と xCCL (NCCL / RCCL / oneCCL) コレクティブスタックは、コード変更なしに正しい順序での配送を受けます。
  • ライセンスは1つ。 DLBはOcNOS-DC PLUS SKUに含まれる機能。同一イメージ、同一サポート契約、機能ごとの追加課金なし。
RoCEv2ロスレスファブリック GLB：ファブリック全体のロードバランシング（7.1） Ultra Ethernet（UEC） AIファブリックのリファレンストポロジ フィーチャーマトリクスの DLB 検証済みの400G／800Gハードウェア OcNOS-DC AI ファブリックソリューション

GPUファブリック向けにDLBをチューニングしますか？

技術デモをリクエスト →
FAQ

よくあるご質問

flowlet とは何であり、DLB はなぜそれを使用するのですか。
flowlet とは、パケット間のわずかな間隙によって区切られたサブフロー単位のかたまりです。DLB はフロー全体を固定するのではなく、各 flowlet の境界で経路を再評価します。これにより、RoCEv2 や TCP の並べ替えを引き起こすことなく、トラフィックをより輻輳の少ないアップリンクへ移すことができます。
DLB は静的な ECMP とどのように異なりますか。
静的 ECMP はフロー開始時に 5 タプルをハッシュ化し、そのフローを存続期間中固定します。そのため、2 つの GPU エレファントフローが 1 つのアップリンク上で衝突する一方で、別のアップリンクが遊休状態になることがあります。DLB はライブのキュー深度を用いてすべてのネクストホップをリアルタイムで評価し、フローレットを最適なパスへ再バインドします。
DLBには、新しいNICや集合演算ライブラリの変更が必要ですか。
いいえ。DLB はスイッチの ASIC 内で動作するため、既存の RoCEv2 NIC および xCCL（NCCL、RCCL、oneCCL）の集合演算スタックは、コード変更なしで正しい順序どおりの配信を得られます。
どのハードウェアが OcNOS DLB をサポートしていますか。
DLB は、Broadcom Tomahawk 4（25.6T）および Tomahawk 5（51.2T）プラットフォームの 64x400G および 64x800G 構成でサポートされ、機能ごとのアドオンなしで OcNOS-DC PLUS SKU に含まれています。
ソリューション概要

さらに詳しく。資料をお持ち帰りください。

本ページより踏み込んだ、簡潔で技術的な 2 つのダウンロード資料です。lossless な 800G AI fabric アーキテクチャと、EVPN-VXLAN の data center リファレンスをご用意しています。

ソリューションブリーフ

OcNOS 800G ロスレス AI Fabric

Broadcom Tomahawk 4／5 スパインによるノンブロッキング RoCEv2 ファブリック。SKU 階層・検証済みプラットフォーム・導入アーキテクチャを解説します。

概要資料を入手
ソリューションブリーフ

EVPN-VXLAN データセンターファブリック

carrier-grade の leaf-spine data center fabric：対称 IRB、Type-2/Type-5 ルート、分散 anycast ゲートウェイ。

概要資料を入手
AIファブリック

Design the whole AI fabric with OcNOS

From the business case to the port-count maths, pick up wherever you are in the build.

ソリューション Open AI Fabric The complete 800G AI fabric: open switches, OcNOS-DC, and support under one contract. Reference designs AIファブリックトポロジー Rail-optimized, scheduled 3-stage Clos, and coherent DCI, sized in real port counts. Size & build AI Fabric Design Suite Size a GPU fabric: leaf, spine, and super-spine counts with a component and power summary.
The technology inside RoCEv2 lossless DLB adaptive routing GLB (7.1) Ultra Ethernet DCQCN PFC デッドロック InfiniBand対イーサネット Coherent DCI