AIネットワーキングスイッチとは？

• ポート速度と容量： GPUのNICは400Gと800Gで接続されるため、スイッチポートもそれに合わせる必要があります。51.2 Tbpsスイッチは800Gポートを64個、25.6 Tbpsスイッチは400Gポートを64個提供します。
• Radix（ポート数）： スイッチあたりのポート数によって、1台のリーフが収容できるGPU数と、1台のスパインが接続できるリーフ数が決まり、それがファブリックに必要なティア数を決めます。ティアが少ないほど、ホップ数、光モジュール、消費電力が減ります。
• ロスレス伝送： GPUはRDMA over Converged Ethernet（RoCEv2）でデータを交換しますが、パケットがドロップすると大幅に低速化します。スイッチには、キューがあふれる前に一時停止させるPriority Flow Control（PFC）と、送信元に早期に警告するExplicit Congestion Notification（ECN）が必要で、NIC側の DCQCN 輻輳制御と連携して動作します。
• 負荷の均等化： AllReduceなどの集合通信は、少数の非常に大きなフローを生成します。静的ハッシュでは、そのうち2つが同じリンクに載り、別のリンクが遊休状態になることがあります。 動的ロードバランシング は、負荷の少ない経路へトラフィックを移します。
• 可視性： ストリーミングテレメトリ は、キューの深さ、PFCポーズ、ECNマークを発生と同時に報告するため、ジョブを遅くしている1本のリンクを運用者が特定可能。

• これらは算術上の上限であり、 製品のスケール値ではありません。実際の設計では、オーバーサブスクリプション、サーバーあたりのレール数、光モジュールの到達距離、ラック電力によって変わります。
• 同じradixで800Gにすると、 ティアを増やさずにGPUあたりの帯域幅が2倍になります。800G NICを中心に構築するバックエンドファブリックが51.2 Tbpsスイッチを使うのはこのためです。
• IP Infusionのリファレンスデザイン （レール最適化型と3段Closファブリック向け、実際のポート数で規模を算出）は、次に掲載しています： AIファブリックトポロジー。設計の選び方は、次で順を追って解説しています： AIネットワーキングファブリックの選び方.

得られるもの

• ハードウェアの選択： OcNOS-DCは複数のハードウェアメーカーのスイッチで動作するため、各プレーンを容量、光モジュール、リードタイムで選定可能。
• プレーンを横断する1つのNOS： バックエンド、ストレージ、フロントエンド、管理の各ネットワークが、1つのオペレーティングシステム、1つのCLI、1つの自動化モデルで動作します。
• 標準Ethernet： RoCEv2ファブリックはデータセンターの他の部分と同じ光モジュール、ケーブル、ツールを使用し、GPU NICはスイッチとは別に選定します。
• 新しいシリコンへの移行パス： 25.6 Tbpsから51.2 Tbpsへの移行で変わるのはスイッチであり、運用モデルではありません。

求めるもの

• インテグレーション。 ロスレスEthernetは、スイッチのバッファ、PFC、ECN、NICの輻輳制御を一体でチューニングして初めて機能します。そのチューニングを誰かが行い、責任を持つ必要があります。
• サポートモデル。 ハードウェアとソフトウェアの供給元が異なる場合、両者の境界をまたぐ障害には、明確な担当者が1人必要です。
• 検証の負担。 光モジュール、ケーブル、NICファームウェア、NOSリリースはそれぞれ時間とともに変化し、すべての組み合わせを本番投入前にテストする必要があります。