AI 데이터센터 패브릭 아키텍처
AI 데이터센터는 하나의 평면 네트워크가 아니라 네 개의 네트워크 플레인을 운영합니다. GPU 대 GPU collective를 위한 AI back-end 패브릭, 스토리지 패브릭, front-end 패브릭, 그리고 격리된 대역 외 관리 플레인입니다. 코히어런트 DCI는 사이트 간 학습을 확장하며, OcNOS-DC는 검증된 Broadcom Tomahawk 하드웨어에서 단일 NOS로 모든 플레인을 운영합니다.
스위치만이 아니라 플레인을 설계하십시오
대부분의 AI 패브릭 실수는 범위 설정 실수입니다. 팀이 GPU 플레인을 사이징한 뒤, 스토리지, 테넌트 접근, 관리를 나중 생각으로 덧붙입니다.
각 플레인은 하나의 임무를 가집니다
각 플레인을 자체 임무에 맞춰 사이징하고 트래픽을 자체 회선에 유지하면, 전체 학습 작업 하에서도 패브릭이 예측 가능하게 유지됩니다.
AI back-end 패브릭
collective를 전달하는 GPU 대 GPU 플레인입니다. 다음으로 구축됩니다 1:1 논블로킹 rail-optimized leaf-spine 파드 또는 super-spine을 갖춘 3계층으로, 다음 위에서 순수 Layer 3 eBGP 언더레이, 그리고 RDMA가 요구하는 RoCEv2 패브릭으로 무손실을 유지합니다: PFC(DCBX/LLDP를 갖춘 L3 상 포함)와 ECN. DLB는 플로우를 분산하여 AllReduce 동안 어떤 링크도 핫스팟이 되지 않도록 합니다.
스토리지 패브릭
GPU 랙과 NVMe-oF 또는 NFS 스토리지 사이에서 체크포인트와 데이터셋을 이동하는 leaf-spine Clos입니다. 일반적으로 다음 근처로 사이징됩니다 3:1, 스토리지 버스트는 collective보다 더 많은 오버서브스크립션을 허용하기 때문이며, RDMA 스토리지 트래픽이 부하 하에서 드롭되지 않도록 무손실로 유지됩니다.
Front-end 패브릭
테넌트 접근, 추론 서빙, 그리고 나머지 데이터센터 및 인터넷으로 나가는 경로를 위한 북-남 플레인입니다. 400G 또는 800G 접근을 실행하며, back-end 플레인의 collective 패턴이 아니라 자체가 전달하는 서비스 트래픽에 맞춰 사이징됩니다.
대역 외 관리
자체 회선에 별도의 Clos 또는 MLAG 플레인을 두어, 브링업과 모니터링이 데이터 플레인과 운명을 공유하지 않도록 합니다. ZTP, SNMP, syslog, gNMI/OpenConfig 스트리밍 텔레메트리를 전달하며, 데이터 플레인 패브릭이 재구성되는 동안에도 계속 동작합니다.
하나의 NOS 위의 네 개 패브릭과 DCI
하나의 데이터센터, 네 개의 플레인, 코히어런트 광 트랜시버를 통해 두 번째 사이트로 확장됩니다. AI back-end 플레인은 1:1 논블로킹이며, 스토리지, front-end, 관리는 각각 자체 트래픽이 필요로 하는 비율로 실행됩니다. 모든 플레인이 OcNOS-DC를 실행하고, ZR+ DCI 링크가 외부 트랜스폰더 없이 사이트 간 학습을 확장합니다.
OcNOS 구성 요소: 플레인별 라우팅 eBGP-unnumbered 언더레이(AI back-end는 순수 Layer 3 eBGP이며, EVPN-VXLAN은 AI 언더레이가 아니라 테넌트 오버레이로 유지), back-end 및 스토리지 플레인에서 RoCEv2 무손실(PFC + ECN, DCBX/LLDP를 갖춘 L3 상 PFC)과 DLB, ZTP 및 gNMI 텔레메트리를 위한 격리된 관리 플레인, 그리고 AIS800-64D, S9321-64E, AS9736-64D의 DCI용 400G ZR 및 ZR+ 또는 800G ZR 코히어런트 광 트랜시버. 백엔드 플레인은 HCL 등재 Tomahawk 5(Edgecore AIS800-64D, UfiSpace S9321-64E / 64EO) 및 Tomahawk 4(Edgecore AS9736-64D) 하드웨어 기반으로 구축되며, 관리 플레인은 Trident 3 스위치에서 OcNOS-DC MGMT 이미지를 실행합니다.
코히어런트 DCI, 외부 트랜스폰더 없음
단일 학습 작업이 하나의 데이터 홀을 넘어서면, 패브릭은 border 포트에서 바로 400G ZR+ 또는 800G ZR 코히어런트 플러거블 광 트랜시버로 WAN을 넘어 확장됩니다.
OcNOS-DC에서 800G ZR 광 트랜시버는 Tomahawk 5 Edgecore AIS800-64D 및 UfiSpace S9321-64E에서, 400G ZR 및 OpenZR+ 광 트랜시버는 Tomahawk 4 Edgecore AS9736-64D에서 동작합니다. 400ZR은 약 120 km까지의 메트로 거리를 지원하고 oFEC를 사용하는 OpenZR+는 더 멀리 도달하며, 각 사이트는 자체 leaf-spine 패브릭을 그대로 유지합니다. 다음을 참조하십시오 코히어런트 DCI 광 트랜시버 및 도달 거리 상세는 심층 설명을 참조하십시오.
각 플레인을 실행하는 하드웨어
AI 백엔드, 스토리지, 프런트엔드 플레인은 Broadcom Tomahawk 실리콘에서 OcNOS-DC를 실행합니다. 800G 플레인과 DCI는 Tomahawk 5를, 엔트리 및 400G 플레인은 Tomahawk 4를 사용합니다. 둘 다 on-chip 공유 버퍼 스위치입니다. 대역 외 관리 플레인은 Trident 3 1G/10G 스위치에서 OcNOS-DC MGMT 이미지를 실행하며, 모든 플랫폼이 OcNOS Hardware Compatibility List에 등재되어 있습니다.
| 실리콘 계층 | Tomahawk 5800G 플레인 + DCI | Tomahawk 4엔트리 + 400G 플레인 |
|---|---|---|
| Broadcom 부품 | BCM78900 | BCM56990 |
| 스위치 용량 | 51.2 Tbps | 25.6 Tbps |
| 포트 구성 | 64×800G | 64×400G |
| 버퍼 | On-chip 공유 버퍼. HCL 등재. | On-chip 공유 버퍼. HCL 등재. |
| 플랫폼 | Edgecore AIS800-64D, UfiSpace S9321-64E, UfiSpace S9321-64EO. AIS800-64D 및 S9321-64E에서 800G ZR 광 트랜시버 지원. | Edgecore AS9736-64D. |
| 설계에서의 역할 | 800G의 AI back-end 및 스토리지 플레인, 그리고 사이트 간 코히어런트 DCI. | 엔트리 구축과 400G front-end 또는 관리 플레인. |
하나의 NOS의 힘
네 개의 플레인과 DCI 링크는 네 개의 제품이 아닙니다. 네 개의 역할을 하는 하나의 운영체제입니다. OcNOS-DC는 하나의 구성 모델로 AI back-end, 스토리지, front-end, 대역 외 관리 패브릭과 코히어런트 DCI를 운영합니다. 팀은 모든 플레인에 대해 하나의 CLI, 하나의 자동화 인터페이스, 하나의 카운터 집합을 익힙니다.
하나의 운영 모델
포트가 GPU 대면 back-end leaf이든, 스토리지 leaf이든, front-end border이든, 관리 스위치이든 동일한 라우팅, QoS, 텔레메트리 모델이 적용됩니다.
하나의 지원 계약
하나의 IP Infusion 계약이 소프트웨어와 검증된 하드웨어를 포괄하며, 모든 플레인에 걸쳐 하나의 TAC와 하나의 SLA를 제공합니다. NOS 벤더와 하드웨어 벤더 간의 책임 전가가 없습니다.
하나의 하드웨어 목록
모든 플레인이 동일한 OcNOS Hardware Compatibility List에서 구축되므로, 지원, 광 트랜시버, 펌웨어가 설계 전반에 걸쳐 일관성을 유지합니다.
성장해 나갈 하나의 로드맵
패브릭 전체 GLB는 OcNOS 7.1에서 제공 예정입니다. 향후 출시될 Tomahawk 6 실리콘(BCM78910 / BCM78914, 102.4 Tbps, TSMC 3nm)은 OcNOS 7.2 트레인에 포함되어 더 높은 radix로 동일한 설계를 확장합니다.
AI 패브릭 아키텍처 FAQ
AI 데이터센터를 구성하는 패브릭은 무엇입니까?
각 패브릭은 어떤 오버서브스크립션을 사용해야 합니까?
두 AI 데이터센터를 어떻게 연결합니까?
하나의 NOS가 모든 패브릭을 운영할 수 있습니까?
각 플레인을 실행하는 하드웨어는 무엇입니까?
더 깊이 살펴보십시오. 자료를 소장하십시오.
제품 데이터시트와 이 페이지보다 한층 더 깊이 있는 간결한 기술 다운로드 자료입니다.
OcNOS-DC 데이터시트
OcNOS-DC 전체 사양: EVPN-VXLAN 및 Ethernet for AI 기능 세트, 소프트웨어 SKU, 지원 하드웨어 플랫폼, 솔루션 주문 가이드.
Datasheet 받기OcNOS 800G 무손실 AI Fabric
Broadcom Tomahawk 4/5 스파인 기반의 논블로킹 RoCEv2 fabric: SKU 등급, 검증된 플랫폼, 도입 아키텍처를 다룹니다.
브리프 받기EVPN-VXLAN 데이터센터 패브릭
통신사업자급 leaf-spine 데이터센터 패브릭: 대칭 IRB, Type-2/Type-5 경로, 그리고 분산 애니캐스트 게이트웨이.
브리프 받기OcNOS-DC 데이터시트
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
OcNOS 800G 무손실 AI Fabric
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
EVPN-VXLAN 데이터센터 패브릭
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
전체 AI 데이터센터를 설계 중이신가요? 모든 플레인을 함께 계획해 드립니다.
GPU 규모와 워크로드를 알려주시면 IP Infusion 엔지니어가 함께 back-end, 스토리지, front-end, 관리, DCI 플레인을 사이징해 드리며, AI Fabric Design Suite에서 1차 레이아웃으로 시작하실 수도 있습니다.
OcNOS로 전체 AI 패브릭을 설계하십시오
비즈니스 사례부터 포트 수 계산까지, 구축 과정의 어느 단계에서든 이어서 진행하십시오.