홈 · 문서 · 기술 · AI Fabric 토폴로지

AI Fabric 토폴로지: Rail-Optimized 및 Scheduled 설계

The shape of your fabric decides the shape of your training job. This page lays out the reference topologies OcNOS-DC ships against, from a rail-optimized single pod, through a scheduled 3-stage Clos, to coherent multi-DC DCI, sized in concrete port-counts on Broadcom Tomahawk 4 and Tomahawk 5 hardware.

Which AI fabric topology should you use? Pick the smallest non-blocking design that keeps every GPU's link saturated during collectives. Up to about 1,000 GPUs, use a rail-optimized leaf-spine pod (8 rails per GPU server, one rail per leaf). From roughly 1,000 to 16,000+ GPUs, move to a 3-stage Clos (leaf, spine, super-spine). To span data centers, extend with 400G ZR/ZR+ coherent DCI. All three run on OcNOS-DC over a RoCEv2 lossless (PFC + ECN) L3 fabric.

유행어가 아닌 GPU 수로 선택하세요

AI 패브릭 토폴로지의 임무는 하나입니다: every GPU의 아웃바운드 링크가 집합 연산 중에 포화되더라도 tail-latency 이상값을 발생시키지 않아야 합니다. 적절한 토폴로지란 고객의 GPU 수에 대해 이를 구현하는 최소 구성이며, 다음 규모로 확장하기 위한 폴백 경로를 갖춘 것입니다. 아래에서는 OcNOS-DC가 현재 지원하는 세 가지 레퍼런스 디자인을 구체적인 포트 계산과 함께 소개합니다.

직접 클러스터를 사이징하고 계십니까? The AI Fabric Design Suite 은 신속한 초기 산정을 제공합니다. 즉, 다음을 산정합니다 논블로킹 2 계층 구성 다음을 가정한 leaf-spine 포드 GPU당 fabric NIC 1개, 그리고 3계층 규모로 넘어갈 때 이를 표시합니다. 아래의 참조 설계는 다음을 사용합니다. same non-blocking leaf/spine 계산을 수행하고 이를 대규모 3단계 Clos로 확장하여, 스위치 수량이 도구와 일치하도록 합니다. Rail-optimized here is the wiring discipline of an 8-NIC GPU server (one rail per leaf, so intra-rail AllReduce stays on the leaf) layered on that non-blocking fabric: it changes traffic locality, not the switch count. Use the tool for a ballpark; use these designs for the build.

256GPUs

엔트리 논블로킹 파드

소규모 스파인 계층 위에 레일 정렬형 리프를 배치한 랙 1열. 2계층 폴디드(folded) Clos, 1:1 논블로킹.

8 leaf · 4 spine · TH4 · 400G
1,024GPUs

Rail 최적화 2계층 파드

1:1 논블로킹 spine을 갖춘 rail 정렬 leaf 구조. rail 내부 AllReduce는 leaf에 머물고, rail 간 트래픽은 spine을 거칩니다. 표준 단일 파드 확장 단위입니다.

32 리프 · 16 스파인 · TH5 · 800G
4,096GPUs

3단 Clos

Leaf, spine, super-spine. Each 1,024-GPU pod is 1:1 non-blocking; a super-spine plane scales across pods. DLB at every tier; GLB end-to-end on the OcNOS 7.1 train.

128 leaves · 64 spines · 32 super-spines · TH5 · 800G
16,384GPUs

확장형 3단 Clos

슈퍼스파인 플레인을 갖춘 멀티 파드 3단계 Clos. 조 단위 파라미터 학습 클래스에 맞게 설계되었습니다.

512 leaves · 256 spines · 128 super-spines · TH5 · 800G
레퍼런스 디자인 1

Rail-Optimized 단일 Pod

각 GPU 서버는 NIC 8개를 가지며 각각이 "레일" (전용 xCCL (NCCL / RCCL / oneCCL) 컬렉티브 채널) 에 대응합니다. 각 레일은 자체 전용 리프를 가지므로 모든 서버의 NIC 8개가 서로 다른 리프에 도착합니다. 레일 N 간의 AllReduce는 리프 N 내부에 머무릅니다. 지배적 컬렉티브 패턴에서는 스파인에 east-west 부하가 발생하지 않습니다.

Rail 최적화 AI 패브릭: 8개 rail, rail 정렬형 leaf, 1:1 논블로킹 spine (개략도) 레일 최적화 AI 패브릭입니다. 하단의 GPU 서버 8대는 각각 8개의 NIC를 보유하며 이는 8개의 레일 리프에 정렬됩니다. 모든 서버의 Rail-N은 leaf-N에 연결됩니다. 리프 상위의 스파인 계층은 레일 간 트래픽을 전달합니다. 지배적인 AllReduce 트래픽은 하나의 레일 내에 머물며 스파인을 거치지 않습니다. Spine-1TH5 · 800G Spine-2TH5 · 800G Spine-3TH5 · 800G Spine-4TH5 · 800G Rail-1leaf Rail-2leaf Rail-3leaf Rail-4leaf Rail-5leaf Rail-6leaf Rail-7leaf Rail-8leaf GPU Server 1 8 × NIC · 8 rail GPU Server 2 8 × NIC · 8 rail GPU Server 3 8 × NIC · 8 rail GPU Server 4 8 × NIC · 8 rail RAIL-OPTIMIZED · 8 RAILS · INTRA-RAIL ALLREDUCE STAYS LOCAL

OcNOS 구성 요소: BGP-unnumbered L3 underlay, RoCEv2 lossless (PFC + ECN) on every leaf, DLB at the spine tier. Built on HCL-listed hardware: the 800G scalable unit uses TH5 64×800G leaves and spines (Edgecore AIS800-64D or UfiSpace S9321-64E); the entry 256-GPU pod uses Edgecore AS9736-64D (TH4, 64×400G).

Scheduled vs Rail-Aligned: 대규모 환경에서 달라지는 점

Rail-optimized stops scaling somewhere between 1k and 2k GPUs: you run out of leaf radix, or the spine tier becomes too oversubscribed. Above that, most modern AI fabrics move to a 3-stage Clos: leaf, spine, super-spine. The hard part on a Clos is spreading flows evenly so no link becomes a hot spot. Approaches run from per-flow ECMP, through adaptive (dynamic) load balancing, to per-packet spray, the model Ultra Ethernet uses with reordering handled at the NIC. A separate family, cell-based scheduled fabrics such as Broadcom DDC, segments traffic into cells and schedules it inside the fabric. OcNOS keeps the GPU plane balanced with DLB today and adds fabric-wide GLB on the 7.1 train, and is UEC-ready as UEC NICs arrive.

레퍼런스 디자인 2

3-Stage Clos Scheduled Fabric: 4,096-16,384 GPUs

Three tiers: leaf, spine, super-spine. Any two GPUs are at most four switch hops apart; same-leaf and same-pod peers are closer. Non-blocking within a pod, with the super-spine plane setting the cross-pod ratio. DLB at every hop, GLB across the full path on the OcNOS 7.1 train, UEC packet-spray on UEC-capable NICs. The diagram is schematic: it draws a reduced tier count; the 4,096-GPU build is 128 leaves / 64 spines / 32 super-spines on TH5 800G.

3단 Clos AI 패브릭 스케줄드 토폴로지 3-stage Clos 토폴로지입니다. 최상위 계층은 네 개의 super-spine 스위치를 보여줍니다. 중간 계층은 여덟 개의 spine 스위치를 보여줍니다. 하위 계층은 GPU pod에 연결되는 12개의 leaf 스위치를 보여줍니다. leaf에서 spine으로, spine에서 super-spine으로 full mesh 링크가 구성됩니다. 하단 밴드 라벨: 4096 GPU scheduled fabric, 모든 계층의 DLB, OcNOS 7.1의 end-to-end GLB. Super-Spine-1 Super-Spine-2 Super-Spine-3 Super-Spine-4 Spine-1 Spine-2 Spine-3 Spine-4 Spine-5 Spine-6 Spine-7 Spine-8 L1 L2 L3 L4 L5 L6 L7 L8 L9 L10 L11 L12 SUPER-SPINE SPINE LEAF GPU PODS 128개 leaf · leaf당 32개 GPU · 총 4,096개 GPU · TH5 · 800G 3-STAGE CLOS · 4,096 GPU · DLB EVERY HOP · GLB E2E (OcNOS 7.1) · UEC-READY

OcNOS 구성 요소: eBGP-unnumbered L3 언더레이, RoCEv2 무손실 (PFC + ECN), 모든 계층의 DLB, OcNOS 7.1 트레인의 종단 간 GLB, 옵저버빌리티 스택으로의 gNMI 스트리밍 텔레메트리를 제공하며, 테넌시가 필요한 경우 EVPN-VXLAN 멀티테넌트 오버레이를 제공합니다. 전 구간에 걸쳐 HCL 등재 TH5 64×800G 섀시에서 구축되었습니다.

Subscription is a dial, not a fixed rule. These counts make each 1,024-GPU pod 1:1 non-blocking and use a cost-optimized ~2:1 super-spine for cross-pod traffic, the rail-optimized approach hyperscale Ethernet fabrics rely on (published large-scale designs oversubscribe the top tier far more, because collective traffic stays pod-local). Want maximal any-to-any headroom instead? A fully non-blocking 1:1 build is 128 / 128 / 64 at 4,096 GPUs and 512 / 512 / 256 at 16,384; only the spine and super-spine counts change. Model either in the AI Fabric Design Suite.

분산 학습을 위한 멀티 DC 및 DCI

단일 학습 작업이 둘 이상의 데이터 홀에 걸쳐 실행될 때(조 단위 파라미터 모델에서 점점 더 흔해지고 있습니다) 패브릭은 WAN 전반으로 확장됩니다. OcNOS-DC는 스파인에서 직접 400G ZR / ZR+ 코히어런트 광 모듈을 지원하여 트랜스폰더 없는 DCI를 구현하며, EVPN 터널 확장을 통해 VXLAN 테넌트를 여러 사이트에 걸쳐 전달합니다.

레퍼런스 디자인 3

멀티 DC AI 패브릭: 코히어런트 DCI

spine에 400G ZR/ZR+를 적용해 두 개의 AI 데이터센터를 하나로 연결합니다. EVPN inter-DC가 L2/L3 tenant 확장을 담당하며, 각 사이트의 기반 3-stage Clos는 그대로 유지됩니다.

400G ZR/ZR+ DCI를 갖춘 멀티 DC AI 패브릭 두 개의 AI 데이터센터로, 각각 리프-스파인 패브릭을 갖추고 있습니다. 두 스파인은 WAN을 가로질러 400G ZR/ZR+ 코히런트 광학을 통해 연결됩니다. EVPN inter-DC 터널이 테넌트를 한 사이트에서 다른 사이트로 확장합니다. 하단 영역은 트랜스폰더가 필요 없는 코히런트 DCI입니다. DATA CENTER A DATA CENTER B Spine-A1400G ZR+ Spine-A2400G ZR+ Spine-B1400G ZR+ Spine-B2400G ZR+ EVPN inter-DC · 400G ZR/ZR+ Leaf-A1 Leaf-A2 Leaf-A3 Leaf-B1 Leaf-B2 Leaf-B3 GPU pod · Site A GPU pod · Site B 코히어런트 DCI · 트랜스폰더 불필요 · EVPN 인터 DC · 400G ZR/ZR+

OcNOS 구성 요소: 400G ZR/ZR+ pluggable coherent optics on a DWDM-capable spine or border-leaf port, EVPN inter-DC for tenant L2/L3 extension, gNMI telemetry across sites. No external transponders required. Reach: 400ZR to roughly 120 km amplified; OpenZR+ reaches farther on oFEC.

설계 경험 법칙

  • 토폴로지를 GPU 수에 맞추세요. 가장 작은 파드(단일 리프의 NIC radix 미만): rail-only로 충분합니다. 단일 파드 규모: rail-optimized 리프-스파인. 멀티 파드: 3-스테이지 Clos는 오버서브스크립션 타협 없이 확장할 수 있는 유일한 설계입니다.
  • AI 플레인에서 항상 1:1 subscription. 스토리지 및 CPU 랙은 더 높은 oversubscription 비율로 운영할 수 있습니다. GPU 플레인은 그래서는 안 됩니다.
  • 레일 수는 케이블링 편의가 아니라 xCCL을 기준으로 결정합니다. 8 rail은 현재 8-NIC GPU 서버의 사실상 표준입니다. rail을 더 적은 수의 leaf로 통합하지 마세요.
  • 배지가 아닌 전력과 밀도로 실리콘을 선택하십시오. TH4(25.6T)와 TH5(51.2T)가 핵심 주력 제품이며, 둘 사이의 선택은 랙 전력과 breakout 케이블 비용에 달려 있습니다.
  • 설계 단계에서 GLB / UEC를 계획하십시오. 7.0 패브릭에서도 첫날부터 텔레메트리 플레인을 구축해 두면, OcNOS 7.1 GLB 업그레이드가 순수한 소프트웨어 단계만으로 끝납니다. 참고: GLB and Ultra Ethernet.
  • HCL 기준으로 검증하십시오. 여기 모든 레퍼런스는 다음에 나열된 하드웨어 기반으로 구축되었습니다 OcNOS 하드웨어 호환성 목록; 거기서부터 최상급 지원을 선택하십시오.
RoCEv2 무손실 패브릭 DLB: 적응형 라우팅 GLB: fabric-wide (7.1) Ultra Ethernet (UEC) EVPN-VXLAN BGP 언더레이 OcNOS 기능 매트릭스 검증된 하드웨어 (HCL) OcNOS-DC AI 패브릭 솔루션
자주 묻는 질문

AI fabric topology FAQ

What is a rail-optimized topology, and how is it different from rail-only?
Rail-optimized wiring connects each of a GPU server's 8 NICs to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf and never traverses the spine. Rail-only is the small-cluster case: a single rack-row of rail-aligned leaves with no spine tier, where cross-rail traffic relies on the GPU scale-up domain. Rail-optimized adds a non-blocking spine so cross-rail flows have a network path.
How many GPUs can a 3-stage Clos scale to?
On radix-64 switches (Tomahawk 5 at 800G) a 2-tier leaf-spine tops out at 2,048 GPUs. A 3-stage Clos with a super-spine tier extends that to 16,000+ GPUs in the reference designs above, and up to about 65,000 GPUs at the theoretical fat-tree limit. Because most collective traffic stays rail-local, the super-spine plane is sized to the cross-pod ratio you actually need.
Should I use Tomahawk 4 or Tomahawk 5?
Both run OcNOS-DC. Tomahawk 4 (25.6 Tbps, 64×400G) is the cost-optimized choice for entry pods and 400G GPU NICs. Tomahawk 5 (51.2 Tbps, 64×800G) is the workhorse for 800G GPU servers and larger fabrics. Tomahawk 4 has no native 800G, so match the switch to your NIC speed.
Do I need InfiniBand, or is Ethernet enough?
Ethernet is now a first-class AI-fabric transport. RoCEv2 with PFC and ECN delivers lossless RDMA today. Ultra Ethernet (UEC) removes the network-wide PFC dependency using endpoint packet-spray, selective retransmission, and link-level retry as UEC NICs ship. OcNOS-DC runs the RoCEv2 fabric today and is UEC-ready.
Where does scale-up end and scale-out begin?
Inside a GPU server and its NVLink domain (for example GB200 NVL72), GPUs communicate over the scale-up fabric at terabit speeds. The rail, leaf-spine, and Clos network is the scale-out fabric between servers and pods. Most same-rail collective traffic is absorbed by scale-up first, so the network carries the cross-rail and cross-pod remainder, which is why 1:1 non-blocking matters most on the GPU plane.

AI 패브릭을 설계 중이신가요? 포트 수 계산을 함께 진행하겠습니다.

아키텍처 리뷰 예약하기 →
AI 패브릭

Design the whole AI fabric with OcNOS

From the business case to the port-count maths, pick up wherever you are in the build.

솔루션 Open AI Fabric The complete 800G AI fabric: open switches, OcNOS-DC, and support under one contract.
현재 위치 AI Fabric 토폴로지 Rail-optimized, scheduled 3-stage Clos, and coherent DCI, sized in real port counts.
Size & build AI Fabric Design Suite Size a GPU fabric: leaf, spine, and super-spine counts with a component and power summary.
The technology inside RoCEv2 lossless DLB adaptive routing GLB (7.1) Ultra Ethernet DCQCN PFC deadlock InfiniBand 대 Ethernet Coherent DCI
솔루션 브리프

더 깊이 살펴보십시오. 자료를 소장하십시오.

본 페이지보다 한 걸음 더 나아간 간결하고 기술적인 두 건의 다운로드 자료입니다. lossless 800G AI fabric 아키텍처와 EVPN-VXLAN data center 레퍼런스를 제공합니다.

솔루션 브리프

OcNOS 800G 무손실 AI Fabric

Broadcom Tomahawk 4/5 스파인 기반의 논블로킹 RoCEv2 fabric: SKU 등급, 검증된 플랫폼, 도입 아키텍처를 다룹니다.

브리프 받기
솔루션 브리프

EVPN-VXLAN 데이터센터 패브릭

carrier-grade leaf-spine data center fabric: 대칭 IRB, Type-2/Type-5 라우트, 분산 anycast 게이트웨이.

브리프 받기