ホーム · ドキュメント · テクノロジー · AIファブリックトポロジー

AI Fabricトポロジ：レール最適化設計とスケジュール設計

The shape of your fabric decides the shape of your training job. This page lays out the reference topologies OcNOS-DC ships against, from a rail-optimized single pod, through a scheduled 3-stage Clos, to coherent multi-DC DCI, sized in concrete port-counts on Broadcom Tomahawk 4 and Tomahawk 5 hardware.

Which AI fabric topology should you use? Pick the smallest non-blocking design that keeps every GPU's link saturated during collectives. Up to about 1,000 GPUs, use a rail-optimized leaf-spine pod (8 rails per GPU server, one rail per leaf). From roughly 1,000 to 16,000+ GPUs, move to a 3-stage Clos (leaf, spine, super-spine). To span data centers, extend with 400G ZR/ZR+ coherent DCI. All three run on OcNOS-DC over a RoCEv2 lossless (PFC + ECN) L3 fabric.

バズワードではなく、GPU数で選ぶ

AI ファブリックトポロジの役割はただ一つ：維持すること every GPU の送信リンクが集合演算中に飽和しても、テールレイテンシの外れ値を生じさせないことが求められます。適切なトポロジとは、お客様の GPU 数に対してこれを実現する最小構成であり、かつ次の規模へ拡張するためのフォールバック経路を備えたものです。以下では、OcNOS-DC が現在サポートする 3 つのリファレンスデザインを、具体的なポート計算とともにご紹介します。

ご自身のクラスタをサイジングしますか。 The AI Fabric Design Suite は迅速な初期見積もりを提供します。すなわち、次を試算します ノンブロッキングの 2 階層構成 次を前提とした leaf-spine ポッド GPU あたり 1 枚の fabric NIC、そして 3階層規模へと移行する際にはそれを示します。以下のリファレンスデザインでは次を用います。 same non-blockingなleaf/spineの計算を行い、それを大規模な3ステージClosへと拡張することで、スイッチ台数がツールと一致します。 Rail-optimized here is the wiring discipline of an 8-NIC GPU server (one rail per leaf, so intra-rail AllReduce stays on the leaf) layered on that non-blocking fabric: it changes traffic locality, not the switch count. Use the tool for a ballpark; use these designs for the build.

256GPUs

エントリーノンブロッキングポッド

小規模なスパインティア上にレール整合型リーフを配した 1 ラック列。2 ティアのフォールデッド (folded) Clos、1:1 ノンブロッキング。

8 リーフ · 4 スパイン · TH4 · 400G
1,024GPUs

レール最適化 2 ティアポッド

1:1 ノンブロッキングのスパインを備えたレール整合型リーフ。レール内の AllReduce はリーフ上に留まり、レール間トラフィックはスパインを経由します。標準的なシングルポッドのスケーラブルユニット。

32リーフ ・ 16スパイン ・ TH5 · 800G
4,096GPUs

3ステージClos

Leaf, spine, super-spine. Each 1,024-GPU pod is 1:1 non-blocking; a super-spine plane scales across pods. DLB at every tier; GLB end-to-end on the OcNOS 7.1 train.

128 leaves · 64 spines · 32 super-spines · TH5 · 800G
16,384GPUs

スケールする3ステージClos

スーパースパインプレーンを備えたマルチポッド3ステージClos。1兆パラメータ規模のトレーニングクラス向けに最適化。

512 leaves · 256 spines · 128 super-spines · TH5 · 800G
リファレンスデザイン 1

レール最適化シングルポッド

各 GPU サーバには 8 つの NIC が搭載され、それぞれが「レール」 (専用の xCCL (NCCL / RCCL / oneCCL) 集合通信チャネル) に対応します。各レールは独自の専用リーフを持ち、各サーバの 8 つの NIC はすべて異なるリーフに収容されます。レール N をまたぐ AllReduce はリーフ N の内部に留まります。支配的な集合通信パターンではスパインに east-west 方向の負荷がかかりません。

レール最適化AIファブリック：8レール、レール整合型リーフ、1:1 ノンブロッキングスパイン（模式図） レール最適化型 AI ファブリックです。最下段に並ぶ 8 台の GPU サーバーには、それぞれ 8 つのレールリーフに対応した 8 枚の NIC があります。各サーバーの Rail-N は leaf-N に接続します。リーフの上段にあるスパイン ティアがレール間トラフィックを伝送します。支配的な AllReduce トラフィックは 1 つのレール内に留まり、スパインを経由することはありません。 Spine-1TH5 · 800G Spine-2TH5 · 800G Spine-3TH5 · 800G Spine-4TH5 · 800G Rail-1leaf Rail-2leaf Rail-3leaf Rail-4leaf Rail-5leaf Rail-6leaf Rail-7leaf Rail-8leaf GPU サーバー 1 8 × NIC・8 レール GPU サーバー 2 8 × NIC・8 レール GPU サーバー 3 8 × NIC・8 レール GPU サーバー 4 8 × NIC・8 レール RAIL-OPTIMIZED · 8 RAILS · INTRA-RAIL ALLREDUCE STAYS LOCAL

OcNOS構成要素： BGP-unnumbered L3 underlay, RoCEv2 lossless (PFC + ECN) on every leaf, DLB at the spine tier. Built on HCL-listed hardware: the 800G scalable unit uses TH5 64×800G leaves and spines (Edgecore AIS800-64D or UfiSpace S9321-64E); the entry 256-GPU pod uses Edgecore AS9736-64D (TH4, 64×400G).

スケジュールド対レールアラインド：スケール時に何が変わるか

Rail-optimized stops scaling somewhere between 1k and 2k GPUs: you run out of leaf radix, or the spine tier becomes too oversubscribed. Above that, most modern AI fabrics move to a 3-stage Clos: leaf, spine, super-spine. The hard part on a Clos is spreading flows evenly so no link becomes a hot spot. Approaches run from per-flow ECMP, through adaptive (dynamic) load balancing, to per-packet spray, the model Ultra Ethernet uses with reordering handled at the NIC. A separate family, cell-based scheduled fabrics such as Broadcom DDC, segments traffic into cells and schedules it inside the fabric. OcNOS keeps the GPU plane balanced with DLB today and adds fabric-wide GLB on the 7.1 train, and is UEC-ready as UEC NICs arrive.

リファレンスデザイン 2

3-Stage Clos Scheduled Fabric: 4,096-16,384 GPUs

Three tiers: leaf, spine, super-spine. Any two GPUs are at most four switch hops apart; same-leaf and same-pod peers are closer. Non-blocking within a pod, with the super-spine plane setting the cross-pod ratio. DLB at every hop, GLB across the full path on the OcNOS 7.1 train, UEC packet-spray on UEC-capable NICs. The diagram is schematic: it draws a reduced tier count; the 4,096-GPU build is 128 leaves / 64 spines / 32 super-spines on TH5 800G.

3 段 Clos AI ファブリックのスケジュールドトポロジ 3ステージのClosトポロジ。最上層には4台のスーパースパインスイッチを表示。中間層には8台のスパインスイッチを表示。最下層にはGPUポッドへ接続する12台のリーフスイッチを表示。リーフからスパイン、スパインからスーパースパインへフルメッシュで接続。下部の帯のラベル：4096 GPUスケジュールドファブリック、全層でのDLB、OcNOS 7.1によるエンドツーエンドのGLB。 Super-Spine-1 Super-Spine-2 Super-Spine-3 Super-Spine-4 Spine-1 Spine-2 Spine-3 Spine-4 Spine-5 Spine-6 Spine-7 Spine-8 L1 L2 L3 L4 L5 L6 L7 L8 L9 L10 L11 L12 SUPER-SPINE SPINE LEAF GPU PODS 128 リーフ・32 GPU／リーフ・合計4,096 GPU・TH5・800G 3段Clos・4,096 GPU・全ホップDLB・E2E GLB（OcNOS 7.1）・UEC対応

OcNOS構成要素： eBGP-unnumbered L3アンダーレイ、RoCEv2ロスレス (PFC + ECN)、全階層でのDLB、OcNOS 7.1系列でのエンドツーエンドGLB、観測性スタックへのgNMIストリーミングテレメトリ。テナント分離が必要な場合はEVPN-VXLANマルチテナントオーバーレイ。全体を通じてHCL掲載のTH5 64×800Gシャーシ上に構築。

Subscription is a dial, not a fixed rule. These counts make each 1,024-GPU pod 1:1 non-blocking and use a cost-optimized ~2:1 super-spine for cross-pod traffic, the rail-optimized approach hyperscale Ethernet fabrics rely on (published large-scale designs oversubscribe the top tier far more, because collective traffic stays pod-local). Want maximal any-to-any headroom instead? A fully non-blocking 1:1 build is 128 / 128 / 64 at 4,096 GPUs and 512 / 512 / 256 at 16,384; only the spine and super-spine counts change. Model either in the AI Fabric Design Suite.

分散学習向けのマルチ DC および DCI

単一のトレーニング実行が複数のデータホールにまたがる場合（兆パラメータ規模のモデルでは次第に一般的になっています）、ファブリックは WAN へと拡張されます。OcNOS-DC はスパイン上で 400G ZR ／ ZR+ コヒーレント光をそのままサポートし、トランスポンダー不要の DCI を実現するとともに、EVPN トンネル拡張により VXLAN テナントを拠点間で伝送します。

リファレンスデザイン 3

マルチDC AIファブリック：コヒーレントDCI

スパインに400G ZR／ZR+を用いて連結された2つのAIデータセンター。EVPN inter-DCがL2／L3テナント拡張を担い、各サイトの基盤となる3段Closは変わりません。

400G ZR／ZR+ DCI を用いたマルチ DC AI ファブリック 2つのAIデータセンター、それぞれがリーフ・スパインファブリックを備えます。2つのスパインはWANを越えて400G ZR／ZR+コヒーレント光で接続。EVPNインターDCトンネルがテナントを一方のサイトから他方へ拡張します。下段：トランスポンダー不要のコヒーレントDCI。 DATA CENTER A DATA CENTER B Spine-A1400G ZR+ Spine-A2400G ZR+ Spine-B1400G ZR+ Spine-B2400G ZR+ EVPN inter-DC · 400G ZR/ZR+ Leaf-A1 Leaf-A2 Leaf-A3 Leaf-B1 Leaf-B2 Leaf-B3 GPU ポッド・サイト A GPU ポッド・サイト B コヒーレントDCI · トランスポンダー不要 · EVPN DC間接続 · 400G ZR/ZR+

OcNOS構成要素： 400G ZR/ZR+ pluggable coherent optics on a DWDM-capable spine or border-leaf port, EVPN inter-DC for tenant L2/L3 extension, gNMI telemetry across sites. No external transponders required. Reach: 400ZR to roughly 120 km amplified; OpenZR+ reaches farther on oFEC.

設計の目安

  • トポロジーをGPU数に合わせる。 最小規模のポッド（リーフ1台の NIC 基数未満）：レールのみで十分。シングルポッド規模：レール最適化リーフ・スパイン。マルチポッド：3段 Clos が、オーバーサブスクリプションの妥協なくスケールする唯一の設計。
  • AI プレーンでは常に 1:1 サブスクリプション。 ストレージおよび CPU ラックは、より高いオーバーサブスクリプション比率で運用できます。GPU プレーンではそれを避けてください。
  • レール数は配線の都合ではなく xCCL を起点に決定します。 8レールは、8-NIC GPUサーバー向けの現行デファクトスタンダードです。レールを少数のリーフに統合しないでください。
  • バッジではなく、電力と密度でシリコンを選択。 TH4（25.6T）とTH5（51.2T）が主力です。両者の選択は、ラック電力とブレイクアウトケーブルのコストによって決まります。
  • 設計段階からGLB／UECを見据えた計画を。 7.0ファブリックであっても初日からテレメトリプレーンを組み込んでおくことで、OcNOS 7.1のGLBアップグレードを純粋なソフトウェアステップにできます。以下を参照 GLB and Ultra Ethernet.
  • HCLに照らして検証。 ここで紹介する各リファレンスは、以下に記載のハードウェア上に構築： OcNOSハードウェア互換性リスト。そこから選択することで第一級のサポートを実現。
RoCEv2ロスレスファブリック DLB：アダプティブルーティング GLB: fabric-wide (7.1) Ultra Ethernet（UEC） EVPN-VXLAN BGP アンダーレイ OcNOS機能マトリクス 検証済みハードウェア（HCL） OcNOS-DC AI ファブリックソリューション
FAQ

AI fabric topology FAQ

What is a rail-optimized topology, and how is it different from rail-only?
Rail-optimized wiring connects each of a GPU server's 8 NICs to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf and never traverses the spine. Rail-only is the small-cluster case: a single rack-row of rail-aligned leaves with no spine tier, where cross-rail traffic relies on the GPU scale-up domain. Rail-optimized adds a non-blocking spine so cross-rail flows have a network path.
How many GPUs can a 3-stage Clos scale to?
On radix-64 switches (Tomahawk 5 at 800G) a 2-tier leaf-spine tops out at 2,048 GPUs. A 3-stage Clos with a super-spine tier extends that to 16,000+ GPUs in the reference designs above, and up to about 65,000 GPUs at the theoretical fat-tree limit. Because most collective traffic stays rail-local, the super-spine plane is sized to the cross-pod ratio you actually need.
Should I use Tomahawk 4 or Tomahawk 5?
Both run OcNOS-DC. Tomahawk 4 (25.6 Tbps, 64×400G) is the cost-optimized choice for entry pods and 400G GPU NICs. Tomahawk 5 (51.2 Tbps, 64×800G) is the workhorse for 800G GPU servers and larger fabrics. Tomahawk 4 has no native 800G, so match the switch to your NIC speed.
Do I need InfiniBand, or is Ethernet enough?
Ethernet is now a first-class AI-fabric transport. RoCEv2 with PFC and ECN delivers lossless RDMA today. Ultra Ethernet（UEC） removes the network-wide PFC dependency using endpoint packet-spray, selective retransmission, and link-level retry as UEC NICs ship. OcNOS-DC runs the RoCEv2 fabric today and is UEC-ready.
Where does scale-up end and scale-out begin?
Inside a GPU server and its NVLink domain (for example GB200 NVL72), GPUs communicate over the scale-up fabric at terabit speeds. The rail, leaf-spine, and Clos network is the scale-out fabric between servers and pods. Most same-rail collective traffic is absorbed by scale-up first, so the network carries the cross-rail and cross-pod remainder, which is why 1:1 non-blocking matters most on the GPU plane.

AIファブリックの設計をご検討ですか。ポート数の試算を一緒に進めましょう。

アーキテクチャレビューを予約 →
AIファブリック

Design the whole AI fabric with OcNOS

From the business case to the port-count maths, pick up wherever you are in the build.

ソリューション Open AI Fabric The complete 800G AI fabric: open switches, OcNOS-DC, and support under one contract.
現在地 AIファブリックトポロジー Rail-optimized, scheduled 3-stage Clos, and coherent DCI, sized in real port counts.
Size & build AI Fabric Design Suite Size a GPU fabric: leaf, spine, and super-spine counts with a component and power summary.
The technology inside RoCEv2 lossless DLB adaptive routing GLB (7.1) Ultra Ethernet DCQCN PFC デッドロック InfiniBand対イーサネット Coherent DCI
ソリューション概要

さらに詳しく。資料をお持ち帰りください。

本ページより踏み込んだ、簡潔で技術的な 2 つのダウンロード資料です。lossless な 800G AI fabric アーキテクチャと、EVPN-VXLAN の data center リファレンスをご用意しています。

ソリューションブリーフ

OcNOS 800G ロスレス AI Fabric

Broadcom Tomahawk 4／5 スパインによるノンブロッキング RoCEv2 ファブリック。SKU 階層・検証済みプラットフォーム・導入アーキテクチャを解説します。

概要資料を入手
ソリューションブリーフ

EVPN-VXLAN データセンターファブリック

carrier-grade の leaf-spine data center fabric：対称 IRB、Type-2/Type-5 ルート、分散 anycast ゲートウェイ。

概要資料を入手