네트워킹 정의 · RDMA · RoCEv2

AI 패브릭이란 무엇입니까?

AI 패브릭은 분산 학습 및 추론 중 GPU 간 RDMA 트래픽을 전달하는 GPU back-end(scale-out) 네트워크입니다. 리프 및 스파인 스위치로 서버와 포드 전반의 모든 GPU NIC를 레일 최적화 및 Clos 토폴로지로 연결하며, 부하 상태에서도 패킷이 폐기되지 않도록 무손실 Ethernet 전송(PFC와 ECN을 적용한 RoCEv2)으로 동작합니다. GPU는 동기화된 집합 통신으로 데이터를 교환하므로 패브릭의 테일 지연이 작업 완료 시간을 결정합니다. 이는 네트워킹 의미이며, 데이터 관리에서 쓰는 기업용 "데이터 패브릭"과는 다릅니다. OcNOS-DC는 Broadcom Tomahawk 5 하드웨어에서 이 패브릭을 제공합니다.

아키텍처 리뷰 예약하기 토폴로지 보기
RoCEv2무손실 이더넷 트랜스포트
51.2 TbpsTomahawk 5, 64x800G
최대 16,384GPU, 3계층
OcNOS-DC개방형 하드웨어의 하나의 NOS

"data fabric"이 아니라 네트워킹 의미

두 개의 서로 다른 분야가 "fabric"이라는 단어를 사용합니다. data fabric은 엔터프라이즈 전반에서 데이터를 통합하고 관리하기 위한 소프트웨어 아키텍처입니다. 이 페이지의 주제인 AI 패브릭은 물리적 네트워크입니다. GPU 간 RDMA 트래픽을 이동시키는 배선, 스위치, 트랜스포트입니다. AI 인프라 팀이 "패브릭이 병목이었다"고 말할 때, 그들은 이 네트워크, 즉 학습 작업이 얼마나 오래 걸렸는지를 결정한 네트워크를 의미합니다.

  • 데이터 패브릭. 시스템 전반에서 데이터를 통합하고 관리하기 위한 엔터프라이즈 데이터 관리 아키텍처입니다. 배선이 아니라 소프트웨어입니다.
  • AI 패브릭. 학습 및 추론 중 GPU 간 RDMA를 전달하는 물리적 GPU back-end 네트워크입니다. 이 페이지는 이 의미에 관한 것입니다.
  • 왜 중요한가. AI 패브릭은 작업 완료 시간을 결정하는 네트워크이므로, 무손실을 유지하고 고르게 부하가 분산되도록 설계됩니다.

Rail, Clos, 그리고 드롭할 수 없는 트랜스포트

AI 패브릭은 하나의 트래픽 패턴, 즉 많은 GPU가 동시에 서로에게 대형 플로우를 보내는 패턴에 맞춰 튜닝된 leaf-spine(Clos) 네트워크입니다. 세 가지 설계 선택이 이를 정의하며, 각각은 작업 완료 시간을 보호하기 위해 존재합니다.

토폴로지

Rail-optimized, 2계층 다음 3계층

GPU 서버의 NIC 8개는 각각 자체 전용 rail leaf, 따라서 지배적인 동일 rail AllReduce 트래픽이 하나의 leaf에 머뭅니다. 4,096개 GPU의 단일 파드를 넘어서면 동일한 rail-optimized 설계에 세 번째 계층을 추가합니다: leaf, spine, super-spine.

AI fabric 토폴로지
전송

무손실 RoCEv2

GPU는 RDMA로 데이터를 이동하며, RDMA는 패킷이 드롭될 때 성능이 저하됩니다. PFC 는 스위치 큐가 넘치는 것을 막고, ECN 는 손실이 발생하기 전에 송신 NIC이 속도를 낮추도록 패킷을 조기에 마킹합니다. 이 조합이 이더넷 위에서 RoCEv2를 전달합니다.

RoCEv2 무손실 패브릭
동작

무손실이어야 하는 이유

OcNOS-DC는 이 패브릭을 다음과 함께 제공합니다 PFC(L3 상 포함), ECN, Dynamic ECN, WRED, 그리고 모든 경로에 고르게 부하를 유지하는 동적 로드 밸런싱입니다. 테일 플로우가 전체 작업이 언제 끝나는지를 결정하기 때문입니다.

무손실 이더넷

이더넷으로 충분하며, 스위치가 상한을 설정합니다

AI 패브릭은 오늘날 이더넷 네트워크입니다. 도달 가능한 범위는 그 아래의 스위치 실리콘과 설계 대상 GPU 수에 의해 결정됩니다.

  • 이더넷으로 충분합니다. PFC와 ECN을 갖춘 RoCEv2는 표준 멀티벤더 하드웨어에서 무손실 RDMA를 제공합니다. Meta는 이더넷으로 구축된 24,576-GPU 학습 클러스터를 공개했습니다.
  • 스위치가 상한을 설정합니다. OcNOS-DC는 Edgecore AIS800-64D 및 UfiSpace S9321-64E와 같은 Broadcom Tomahawk 5(51.2 Tbps, 64x800G) 플랫폼에서 실행되며, 이는 800G GPU 패브릭에 필요한 밀도입니다.
  • GPU 수에 따른 설계. Tomahawk 5에서 최대 4,096개 GPU까지는 rail-optimized 2계층 파드, 그다음 세 번째 super-spine 계층으로 최대 16,384개 GPU까지.

AI 패브릭이란 무엇인가 FAQ

AI 패브릭이란 무엇입니까?
네트워킹에서 AI 패브릭은 분산 학습 및 추론 중 GPU 간 RDMA 트래픽을 전달하는 GPU back-end(scale-out) 네트워크입니다. 모든 서버와 파드 전반의 GPU NIC을 연결하여 AllReduce와 같은 collective 연산이 가장 느린 링크가 허용하는 만큼 빠르게 완료되도록 합니다. leaf 및 spine 스위치를 사용하여 rail-optimized 및 Clos 토폴로지로 구축되며, 무손실 이더넷 트랜스포트(PFC와 ECN을 갖춘 RoCEv2)를 실행합니다. OcNOS-DC는 Broadcom Tomahawk 5 하드웨어에서 이 패브릭을 제공합니다.
AI 패브릭은 data fabric과 같습니까?
아니요. 이들은 하나의 단어를 공유하는 서로 다른 용어입니다. data fabric은 시스템 전반에서 데이터를 통합하고 관리하기 위한 엔터프라이즈 데이터 관리 아키텍처입니다. 여기서 사용되는 네트워킹 의미의 AI 패브릭은 GPU 간 RDMA 트래픽을 이동시키는 물리적 GPU back-end 네트워크입니다. 이 페이지는 네트워킹 의미에 관한 것입니다.
AI 패브릭이 작업 완료 시간을 결정하는 이유는 무엇입니까?
GPU 학습은 lockstep으로 실행됩니다. 각 스텝 후에 GPU는 collective로 gradient를 교환하며, 모든 GPU는 다음 스텝이 시작되기 전에 그 교환이 끝나기를 기다립니다. 하나의 링크가 정체되거나 패킷을 드롭하면 전체 작업이 기다립니다. 패브릭이 이러한 교환 하나하나를 전달하기 때문에, 평균이 아니라 테일 레이턴시가 학습 작업이 얼마나 오래 걸리는지를 결정하며, 이것이 패브릭이 무손실을 유지하고 고르게 부하가 분산되도록 설계되는 이유입니다.
AI 패브릭에 InfiniBand가 필요합니까, 아니면 이더넷으로 충분합니까?
이더넷은 현재 AI 패브릭의 핵심 전송 방식입니다. PFC와 ECN을 갖춘 RoCEv2는 표준 멀티벤더 하드웨어에서 무손실 RDMA를 제공하며, Meta는 이더넷 기반의 24,576 GPU 학습 클러스터를 공개했습니다. OcNOS-DC는 현재 이 RoCEv2 패브릭을 운영하고 있으며, IP Infusion은 Ultra Ethernet Consortium 회원사입니다.

AI 패브릭을 구축 중이신가요? 함께 사이징해 봅시다.

GPU 규모와 워크로드를 알려주시면 IP Infusion 엔지니어가 OcNOS-DC를 실행하는 개방형 Tomahawk 5 하드웨어에서 토폴로지와 포트 계산을 함께 진행해 드립니다.

아키텍처 리뷰 예약하기 토폴로지 보기

OcNOS로 전체 AI 패브릭을 설계하십시오

비즈니스 사례부터 포트 수 계산까지, 구축 과정의 어느 단계에서든 이어서 진행하십시오.

솔루션 개방형 AI 패브릭 완전한 800G AI 패브릭: 개방형 스위치, OcNOS-DC, 그리고 하나의 계약으로 제공되는 지원. 참조 설계 AI Fabric 토폴로지 rail-optimized 2계층 및 3계층 패브릭과 코히어런트 DCI를 실제 포트 수 기준으로 사이징합니다. 규모 산정 및 구축 AI 패브릭 설계 스위트 GPU 패브릭 사이징: 구성 요소 및 전력 요약과 함께 leaf, spine, super-spine 수를 산출합니다.
AI 패브릭이 처음이십니까? 여기서 시작하십시오 AI 패브릭이란 무엇입니까? GPU 패브릭이란 무엇입니까? 무손실 이더넷이란 무엇입니까? RDMA란 무엇입니까? AI 네트워킹 스위치
내부 기술 무손실 RoCEv2 Rail-optimized 네트워크 DLB GLB (7.1) Ultra Ethernet Tomahawk 6 (1.6T) DCQCN PFC 데드락 InfiniBand 대 Ethernet RoCE 대 InfiniBand AI 패브릭 아키텍처 코히어런트 DCI

더 깊이 살펴보십시오. 자료를 소장하십시오.

이 페이지보다 더 깊이 들어가는 두 개의 짧은 기술 다운로드: 전체 OcNOS-DC 데이터시트와 무손실 800G AI 패브릭 아키텍처.

데이터시트

OcNOS-DC 데이터시트

OcNOS-DC 전체 사양: EVPN-VXLAN 및 Ethernet for AI 기능 세트, 소프트웨어 SKU, 지원 하드웨어 플랫폼, 솔루션 주문 가이드.

Datasheet 받기
솔루션 브리프

OcNOS 800G 무손실 AI Fabric

Broadcom Tomahawk 4/5 스파인 기반의 논블로킹 RoCEv2 fabric: SKU 등급, 검증된 플랫폼, 도입 아키텍처를 다룹니다.

브리프 받기