GPU 클러스터용 무손실 800G Ethernet 패브릭

IP Infusion은 AI 패브릭 일체를 제공합니다. 인증된 800G 및 400G 스위치에 OcNOS-DC가 사전 탑재되며, 무손실 RoCEv2, 동적 로드 밸런싱, PFC 교착 상태 감지 및 복구를 갖추고 하나의 지원 계약으로 지원됩니다. NIC, GPU, 스위치 벤더는 계속 고객이 선택합니다.

900+OcNOS 운영 사업자
60+개국
18인증된 OcNOS-DC 스위치
Rail 최적화 AI 패브릭 라이브 뷰2대의 Tomahawk 5 스파인이 4대의 rail 리프에 연결됩니다. 각 GPU 서버는 rail 리프마다 NIC 하나를 연결합니다. 동일 rail 트래픽은 해당 리프에 머물고, rail 간 트래픽은 스파인을 거칩니다.스파인Rail 리프GPU 서버Tomahawk 5 · 800G
각 GPU NIC은 전용 rail을 사용합니다. 동일 rail 트래픽은 해당 리프에 머물고, rail 간 트래픽은 스파인을 거칩니다.

GPU 패브릭이 갖춰야 할 요건

AI 패브릭은 GPU 서버를 연결하는 Ethernet 네트워크입니다. RoCEv2 트래픽을 손실 없이 전달하고 모든 링크를 계속 활용해야 합니다. 패킷 하나가 유실되면 NIC가 재전송하는 동안 collective가 멈추고, 링크 하나가 혼잡하면 학습 작업 전체가 지연되기 때문입니다.

학습 작업을 지연시키는 트래픽 패턴은 세 가지입니다. OcNOS-DC는 각각에 대한 해결책을 갖추고 있습니다.

트래픽도 같고 4개의 업링크도 같습니다. 달라지는 것은 플로우를 배치하는 방식입니다.

업링크 1
업링크 2
업링크 3
업링크 4

정적 ECMP는 해시에 따라 각 대형 플로우를 하나의 업링크에 고정하므로, 두 업링크는 혼잡해지고 나머지 두 업링크는 거의 유휴 상태로 남습니다.

설명용 예시입니다.

모든 GPU가 동시에 통신
정적 ECMP는 대형 플로우를 하나의 업링크에 고정하므로, 일부 링크는 혼잡해지고 다른 링크는 유휴 상태로 남습니다.
→ DLB 는 혼잡한 업링크의 플로우렛을 부하가 적은 경로로 옮깁니다.
DLB 작동 방식 →
버스트가 한 포트에 집중
많은 송신자가 수 마이크로초 안에 하나의 포트에 도달합니다.
→ ECN 마킹 은 버퍼가 차기 전에 DCQCN 지원 NIC에 전송 속도를 낮추도록 알립니다.
→ PFC 교착 상태 감지 및 복구 는 멈춘 큐를 자동으로 해소합니다.
DCQCN 작동 방식 →
한 번의 드롭으로 작업이 멈춤
유실된 데이터는 NIC가 재전송해야 하므로, 한 번의 드롭으로 collective가 멈춥니다.
→ PFC 및 ECN 은 RoCEv2 트래픽을 무손실로 유지합니다.
RoCEv2 작동 방식 →

OcNOS 7.1에서 제공될 예정인 GLB는 패브릭 전체에 걸쳐 부하를 분산합니다. GLB 알아보기 →

각 GPU NIC에 전용 rail

각 GPU 서버는 8대의 rail 리프 각각에 NIC 하나를 연결합니다. 동일 rail AllReduce는 해당 리프에 머물고, rail 간 트래픽만 800G Tomahawk 5 스파인에 도달합니다. Pod는 동일한 스위치로 확장됩니다.

레일 최적화 AI 패브릭 토폴로지: 8개의 레일 리프 위에 4개의 800G Tomahawk 5 스파인을 배치하고, 4대의 GPU 서버가 각각 8개의 NIC를 서로 다른 레일 리프에 하나씩 매핑하므로, 레일 내 AllReduce는 하나의 리프 안에 머뭅니다.
레일 최적화 단일 파드: 각 GPU 서버의 NIC 8개가 레일당 하나씩 8개의 전용 리프에 매핑되므로, 동일 레일 AllReduce는 리프 안에 머물고 레일 간 트래픽만 스파인에 도달합니다.

1,024 GPU rail-optimized 패브릭을 스위치 단위로 상세히 설명합니다. 포트 계산, 구성 요소 수, 4,096 GPU 이상으로의 확장, 플랫폼과 OcNOS-DC 에디션, 그리고 RoCEv2 무손실 시작 프로파일을 다룹니다.

AI Fabric 레퍼런스 디자인 받기 레퍼런스 토폴로지 보기 →

기술 요약

패브릭에서 OcNOS-DC가 실행하는 기능입니다. 자세한 내용은 링크를 참고하십시오.

OcNOS-DC AI 패브릭 기술 요약
영역 OcNOS-DC 심층 분석
무손실 트랜스포트 우선순위별 PFC, ECN 마킹, ETS를 적용한 RoCEv2. 라우팅 경계를 넘는 PFC over L3. RoCEv2 →
혼잡 제어 DCQCN 지원 NIC를 위한 ECN 마킹, Tomahawk 5의 Dynamic ECN. 스위치 패킷 버퍼 튜닝. DCQCN →
로드 밸런싱 Tomahawk 4 및 5의 동적 로드 밸런싱(DLB), RoCEv2 목적지 QP 해싱, Tomahawk 5의 Reactive Path Rebalance. OcNOS 7.1에서 제공될 예정인 GLB가 이를 패브릭 전체로 확장합니다. DLB →
교착 상태 보호 PFC 교착 상태 감지 및 복구. PFC 교착 상태 →
서버 설정 DCBX는 LLDP를 통해 링크 상대와 PFC 및 ETS 설정을 교환합니다.
텔레메트리 OpenConfig 모델 기반 gNMI 스트리밍: on-change, dial-in, dial-out. 텔레메트리 →
자동화 IPv4 및 IPv6 기반 ZTP. Day 0부터 Day 2까지의 Ansible 플레이북. NETCONF 기반 IP Maestro. 자동화 →
토폴로지 Rail 전용, rail 최적화 2계층, rail 최적화 3계층. 토폴로지 →
규모 Tomahawk 5에서 2계층으로 GPU당 800G, 최대 4,096 GPU. 3계층으로 최대 16,384 GPU. Reference-design ceilings from Clos radix math, not measured figures. 규모 산정 →
Ultra Ethernet IP Infusion은 Ultra Ethernet Consortium의 회원사입니다. UEC →

스케일 어크로스: 여러 건물에 걸친 하나의 GPU 클러스터

대규모 GPU 클러스터는 한 건물이 공급할 수 있는 것보다 많은 전력을 필요로 하므로, 사업자는 여러 건물과 사이트의 패브릭을 하나의 클러스터로 연결합니다. 각 사이트의 스파인은 OcNOS-DC가, 리전 간 딥 버퍼 라우터는 OcNOS-SP가 실행합니다.

스파인 포트에 장착하는 Coherent 광모듈

인증된 Tomahawk 4 및 Trident 4 스위치에서 OcNOS-DC는 400G ZR과 OpenZR+를 지원합니다. Tomahawk 5 기반 Edgecore AIS800-64D 및 UfiSpace S9321-64E에서는 800G ZR과 OpenZR+를 지원합니다. 스파인은 트랜스폰더 셸프 없이 DWDM 라인 시스템에 직접 연결됩니다.

Coherent DCI 작동 방식

라우티드 링크의 혼잡 신호

ECN 마킹은 인증된 18개 OcNOS-DC 스위치 모두의 라우티드 인터페이스에서 동작하므로, DCQCN 지원 NIC가 건물 간 라우티드 링크에서도 혼잡을 감지할 수 있습니다. BGP 세션의 BFD가 경로 장애를 감지합니다.

DCQCN 작동 방식

리전 간 딥 버퍼 라우터

리전 간에는 OcNOS-SP가 SR-MPLS, EVPN, BGP를 갖춘 딥 버퍼 Jericho 2C+ 및 Qumran 2C 라우터에서 실행됩니다. 7개 OcNOS-SP 라우터가 400G ZR과 OpenZR+를 지원합니다.

플랫폼별 ZR 지원 보기

GPU 수에 맞춘 규모 산정

클러스터 규모를 선택하면 필요한 패브릭을 확인할 수 있습니다. 이후 Design Suite에서 링크, 트랜시버, 케이블 수를 포함해 직접 설계할 수 있습니다.

1,024 GPU

32
리프
16
스파인
48
스위치

2계층

Tomahawk 5 기반 rail-optimized 참조 설계입니다. GPU 수는 Clos radix 계산에 따른 참조 설계의 상한이며, 측정값이 아닙니다.

AI Fabric Design Suite 열기 아키텍처 리뷰 예약하기

인증된 800G 및 400G 스위치

Edgecore와 UfiSpace의 Tomahawk 5 leaf 및 spine, 그리고 Tomahawk 4 leaf.

Edgecore AIS800-64D 800G 스파인 스위치

Edgecore AIS800-64D

64 x 800G · 51.2 Tbps

QSFP-DD800 · 2x400G / 4x200G / 8x100G로 브레이크아웃

leaf 또는 spine · Tomahawk 5
데이터시트 →
UfiSpace S9321-64E 800G 스파인 스위치

UfiSpace S9321-64E

64 x 800G · 51.2 Tbps

QSFP-DD800 · 2x400G / 4x200G / 8x100G로 브레이크아웃

leaf 또는 spine · Tomahawk 5
데이터시트 →
Edgecore AS9736-64D 400G 리프 스위치

Edgecore AS9736-64D

64 x 400G · 25.6 Tbps

QSFP56-DD 400G · 4x100G 브레이크아웃

리프 · Tomahawk 4
데이터시트 →

인증된 OcNOS-DC 스위치 18종 모두 보기 →

하나의 시스템, 하나의 계약

하나의 지원 창구

OcNOS-DC는 스위치 모델과 ASIC 스테핑별로 사전 설치 및 인증됩니다. PO 하나, 지원 계약 하나, RMA 창구 하나입니다. P1 응답 시간은 8시간(Standard)부터 30분(Enterprise)까지입니다.

지원 세부정보 보기

전체 장비를 하나의 콘솔에서

IP Maestro는 고객의 OSS 하위에서 NETCONF를 통해 토폴로지, 장애, 구성, 소프트웨어 이미지를 관리합니다.

IP Maestro 살펴보기

멀티벤더 상호 운용성이 입증된 광모듈

여러 벤더의 광모듈이 상호 운용성을 입증했습니다. 고객 구성에 맞는 트랜시버 목록을 요청하십시오.

트랜시버 목록 요청

설계를 팀과 공유

짧은 PDF 자료입니다. 간단한 양식을 작성하면 다운로드가 시작됩니다.

800G 무손실 AI 패브릭

OcNOS-DC 에디션, 인증된 플랫폼, 배포 아키텍처.

브리프 받기

OcNOS-DC 데이터시트

기능 세트, 소프트웨어 SKU, 지원 하드웨어.

Datasheet 받기

자주 묻는 질문

OcNOS-DC 스위치에서는 어떤 AI 패브릭 기능이 동작하나요?
OcNOS-DC는 AI 워크로드에 필요한 스위치 측 기능을 구현합니다. PFC와 ECN 기반의 무손실 RoCEv2, Tomahawk 5의 Dynamic ECN, 동적 로드 밸런싱(DLB), 스위치 패킷 버퍼 튜닝, PFC 데드락 감지 및 복구입니다. 집합 통신 로직(xCCL), DCQCN과 같은 혼잡 제어의 NIC 측, 그리고 작업 스케줄링은 스위치 밖의 NIC와 클러스터 스케줄러에서 실행됩니다.
OcNOS-DC의 역할은 어디에서 끝나고, NIC와 클러스터 스케줄러는 어디에서부터 담당합니까?
OcNOS-DC는 스위치 측을 담당합니다. 무손실 RoCEv2를 위한 PFC와 ECN, 동적 로드 밸런싱, PFC 데드락 감지 및 복구, gNMI 스트리밍 텔레메트리입니다. NIC는 집합 통신 라이브러리(xCCL)와 RDMA 엔드포인트를 담당합니다. 클러스터 스케줄러는 작업을 배치하며 스위치 텔레메트리를 활용할 수 있습니다. 이러한 역할 분리 덕분에 NIC, GPU, 오케스트레이션을 자유롭게 교체할 수 있습니다.
IP Infusion은 AI 패브릭에 무엇을 제공하나요?
완결된 시스템입니다. OcNOS-DC가 사전 설치된 인증된 오픈 스위치를 OcNOS Systems로 하나의 지원 계약 아래 제공합니다. 통신사업자 네트워크에서 운영되는 것과 같은 OcNOS 제품군입니다. OcNOS-DC는 Broadcom 실리콘에서 동작하며, 무손실 RoCEv2(PFC와 ECN), Tomahawk 5의 Reactive Path Rebalance를 통한 동적 로드 밸런싱, PFC 데드락 감지 및 복구를 지원합니다. 각 스위치는 역할에 맞는 OcNOS-DC 에디션으로 동작합니다. 전체 AI 패브릭 기능에는 DC-PLUS, 무손실 기본 기능에는 DC-IPBASE, 대역외 관리에는 DC-MGMT를 사용합니다. NIC, GPU, 스위치 벤더는 계속 고객이 선택할 수 있습니다.
Ultra Ethernet (UEC) 1.0은 OcNOS AI Fabric에 어떤 의미를 갖습니까?
OcNOS-DC runs lossless RoCEv2 with PFC and ECN, and dynamic load balancing, available today, and IP Infusion은 Ultra Ethernet Consortium(UEC) 회원사입니다. UEC 1.0이 정의하는 것은 multipath Ethernet transport that spreads one flow across many paths instead of pinning it to a single ECMP hash, with that endpoint behavior running on UEC-capable NICs. To plan how UEC fits a specific build, talk to an IP Infusion engineer. Ultra Ethernet 심층 분석을 읽어 보세요.
OcNOS-DC는 패브릭을 어떻게 무손실로 유지하며, PFC 데드락은 무엇으로 방지합니까?
세 가지 메커니즘이 있습니다. PFC는 버퍼가 넘치기 전에 우선순위별 트래픽을 일시 정지하고, ECN은 패킷에 일찍 표시를 해 송신 측의 속도를 늦추며, ETS는 RDMA 클래스에 링크 대역폭을 할당합니다. 여기에 PFC 데드락 감지 및 복구가 pause 순환에 빠진 큐를 감지해 복구하므로, 멈춘 포트도 수동 리셋 없이 복구됩니다. PFC over L3는 라우팅 경계를 넘어 지원됩니다.
DLB란 무엇이며, OcNOS 7.1의 GLB에서는 무엇이 달라집니까?
AllReduce 중에는 표준 ECMP가 큰 플로우를 각각 하나의 업링크에 수명 동안 고정하기 때문에 가장 큰 플로우끼리 충돌하고, 동기화는 혼잡한 링크를 기다리게 됩니다. DLB는 현재 로컬 홉에서 flowlet을 혼잡한 업링크에서 부하가 낮은 경로로 옮기며, Tomahawk 5에서는 Reactive Path Rebalance가 추가됩니다. OcNOS 7.1에서 제공될 GLB는 로드 밸런싱을 패브릭 전체로 확장합니다.
OcNOS AI 패브릭은 어떤 스위치 하드웨어와 800G 광 모듈을 지원합니까?
이 패브릭은 Edgecore와 UfiSpace의 인증된 Broadcom Tomahawk 5 및 Tomahawk 4 스위치에서 동작합니다. 800G 스위치(Edgecore AIS800-64D와 UfiSpace S9321-64E, Tomahawk 5, 64 x 800G QSFP-DD800, 51.2 Tbps)는 leaf와 spine으로 사용되며 400G, 200G, 100G로 브레이크아웃할 수 있습니다. 400G leaf(Edgecore AS9736-64D, Tomahawk 4, 64 x 400G QSFP56-DD, 25.6 Tbps)는 4 x 100G로 브레이크아웃할 수 있으며, GPU당 400G NIC 하나를 쓰는 패브릭에 적합합니다. 여러 벤더의 광 모듈과 상호 운용성이 인증되었습니다. 구성에 맞는 트랜시버 목록은 문의해 주세요. 인증된 스위치는 HCL에 나열되어 있습니다.
OcNOS AI 패브릭을 여러 건물이나 사이트에 걸쳐 구성할 수 있습니까?
예. ZR 및 OpenZR+ Coherent 광모듈을 스파인에 장착하고, 건물 간 라우티드 링크에서 ECN 마킹이 동작하며, 리전 간에는 OcNOS-SP가 딥 버퍼 라우터에서 실행됩니다. Coherent DCI 심층 분석 읽기
AI 패브릭의 지원은 누가 제공하며, 하드웨어도 함께 포함됩니까?
패브릭을 OcNOS Systems로 구매하면 하나의 IP Infusion 계약으로 OcNOS-DC 소프트웨어와 인증된 스위치 하드웨어가 함께 지원되므로 TAC와 SLA가 각각 하나입니다. 지원은 등급별로 나뉩니다. Standard에는 이메일 TAC, 업무 시간 전화 지원, 하드웨어 RMA 조율이 포함되며 P1 응답 시간은 8시간입니다. Premium은 24/7 고객 지원 포털이 추가되고 P1 응답 시간은 2시간입니다. Enterprise는 P1 응답 시간이 30분이며 Customer Success Manager가 배정됩니다. 24/7 포털은 Premium과 Enterprise에서 이용할 수 있습니다.

Plan your GPU fabric with our engineers

Bring your design questions to an IP Infusion engineer, or take the reference design to your team.

아키텍처 리뷰 예약하기 AI Fabric 레퍼런스 디자인 받기

OcNOS로 전체 AI 패브릭을 설계하십시오

비즈니스 사례부터 포트 수 계산까지, 구축 과정의 어느 단계에서든 이어서 진행하십시오.

현재 위치 개방형 AI 패브릭 완전한 800G AI 패브릭: 개방형 스위치, OcNOS-DC, 그리고 하나의 계약으로 제공되는 지원.
참조 설계 AI Fabric 토폴로지 rail-optimized 2계층 및 3계층 패브릭과 코히어런트 DCI를 실제 포트 수 기준으로 사이징합니다. 규모 산정 및 구축 AI 패브릭 설계 스위트 GPU 패브릭 사이징: 구성 요소 및 전력 요약과 함께 leaf, spine, super-spine 수를 산출합니다.
AI 패브릭이 처음이십니까? 여기서 시작하십시오 AI 패브릭이란 무엇입니까? GPU 패브릭이란 무엇입니까? 무손실 이더넷이란 무엇입니까? RDMA란 무엇입니까? AI 네트워킹 스위치
내부 기술 무손실 RoCEv2 Rail-optimized 네트워크 DLB GLB (7.1) Ultra Ethernet Tomahawk 6 (1.6T) DCQCN PFC 데드락 InfiniBand 대 Ethernet RoCE 대 InfiniBand AI 패브릭 아키텍처 코히어런트 DCI