RoCEv2: AI 패브릭을 위한 무손실 이더넷
RoCEv2는 RDMA가 표준 이더넷에서 실행되는 방식입니다. RDMA를 UDP/IP로 인캡슐화하고 UDP 목적지 포트 4791을 사용하므로, GPU collective 트래픽을 일반 leaf-spine 패브릭 전반에서 라우팅할 수 있습니다. 무손실 패브릭이 필요합니다. 스위치는 PFC로 일시 정지하고 ECN으로 혼잡을 마킹하며, NIC의 DCQCN이 이 마크에 반응해 송신 측 속도를 낮춥니다. OcNOS-DC는 이 스위치 측 기능인 PFC와 ECN 마킹을 인증된 400G 및 800G 개방형 하드웨어에서 실행하며, Feature Matrix에 명시된 플랫폼에서는 동적 로드 밸런싱도 제공합니다.
무손실 leaf-spine 패브릭 위의 동일한 GPU
간결한 rail 슬라이스: 네 개의 GPU 사이에서 RoCEv2를 전달하는 두 개의 spine과 두 개의 leaf입니다. PFC 일시 정지 프레임은 혼잡 시 홉 단위로 이동하고, ECN은 소스에서의 DCQCN 반응을 위해 엘리펀트 플로우를 마킹합니다. RDMA는 목적지 포트 4791에서 UDP/IP로 인캡슐화되므로, 동일한 트래픽을 표준 이더넷 패브릭 전반에서 라우팅할 수 있습니다.
거의 제로에 가까운 손실이 GPU collective를 효율적으로 유지합니다
GPU collective(all-reduce, all-gather, all-to-all)는 단일 패브릭 경로를 포화시키는 엘리펀트 플로우를 생성하며, 학습 작업의 효율을 유지하기 위해 거의 제로에 가까운 손실을 요구합니다. RoCEv2는 RDMA를 목적지 포트 4791의 UDP/IP로 캡슐화하여 leaf-spine 패브릭을 이러한 워크로드를 위한 무손실 전송으로 바꾸며, 동일한 트래픽을 Layer 3에서 라우팅할 수 있게 합니다.
| 매개변수 | RoCEv1레이어 2 | RoCEv2UDP/IP, 라우팅 가능 |
|---|---|---|
| 캡슐화 | 이더넷 위에서 직접 전달되는 RDMA(전용 EtherType). | UDP 목적지 포트 4791을 사용하여 UDP/IP로 인캡슐화된 RDMA. |
| 네트워크 계층 | Layer 2 전용이며, 단일 브로드캐스트 도메인에 국한됩니다. | 표준 leaf-spine 패브릭 전반에서 Layer 3 라우팅 가능. |
| ECMP 엔트로피 | 해싱할 IP 또는 UDP 헤더가 없어 경로 분산이 제한됩니다. | ECMP 경로 전반에 트래픽을 분산하기 위해 UDP 소스 포트를 플로우 식별자로 변화시킵니다. |
| 무손실 요구 사항 | PFC와 ECN으로 구축된 무손실 패브릭이 필요합니다. | 혼잡 제어 루프인 DCQCN과 함께, PFC와 ECN으로 구축된 무손실 패브릭이 필요합니다. |
| 도달 거리 및 규모 | 랙 또는 단일 서브넷 내부. | 라우팅되는 데이터센터 패브릭이며, 최대 16,384개 GPU의 참조 설계. |
패브릭을 무손실로 유지하는 제어
RoCEv2 패브릭은 세 가지 협력 메커니즘을 통해 무손실을 유지합니다. priority flow control은 올바른 트래픽 클래스를 일시 정지시키고, ECN과 DCQCN은 손실 없이 처리량을 유지하며, 동적 로드 밸런싱은 소수의 대형 플로우를 혼잡한 업링크에서 회피시킵니다.
우선순위별 pause
802.1Qbb PFC는 단일 트래픽 클래스를 홉 단위로 일시 정지시켜 RDMA를 전달하는 큐가 절대 드롭되지 않도록 합니다. OcNOS는 이를 다음과 결합합니다 PFC 교착 상태 감지 및 복구, 이는 정체된 우선순위를 찾아내 전파되기 전에 복구합니다.
ECN 마킹과 DCQCN 루프
WRED 기반 ECN은 큐가 쌓임에 따라 패킷을 마킹하며, DCQCN은 혼잡 제어 루프입니다 송신 측에서 반응하여 손실 없이 처리량을 유지합니다.
혼잡 인지 로드 밸런싱
정적 ECMP 해싱은 AI collective가 생성하는 소수의 대형 엘리펀트 플로우에서 충돌합니다. DLB 는 로컬 링크 포화 시 플로우렛을 재배치하여, 대칭 토폴로지를 저해하는 정적 해싱 충돌을 제거합니다.
OcNOS가 제공하는 RoCEv2
무손실 제어를 넘어, OcNOS는 무손실 구성을 운영 가능한 패브릭으로 전환하는 텔레메트리, 참조 설계, 그리고 깔끔한 업그레이드 경로를 제공합니다.
레일 최적화 패브릭
rail 정렬 토폴로지를 위한 참조 설계로, 최대 16,384개 GPU 규모를 기성 400G 및 800G 오픈 스위치로 구성합니다.
Ultra Ethernet의 위치
Ultra Ethernet 은 표준 이더넷에 패킷 스프레이와 멀티패스 RDMA를 더하며 UEC 지원 NIC에서 실행됩니다. OcNOS-DC는 현재 무손실 RoCEv2를 프로덕션으로 운영하고 있으며, IP Infusion은 Ultra Ethernet Consortium 회원사입니다.
개방형 하드웨어 전반의 하나의 NOS
- 개방형 하드웨어 선택권. 동일한 NOS로 UfiSpace 또는 Edgecore 플랫폼에서 RoCEv2를 실행하므로, 패브릭 계층에 벤더 종속이 없습니다.
- 티어별 라이선스. PFC, ECN, ETS는 OcNOS-DC IPBASE 및 PLUS 티어에 포함됩니다. DLB, Dynamic ECN, PFC 데드락 복구, 버퍼 튜닝은 PLUS 티어에 포함됩니다. 각 기능의 지원 플랫폼은 Feature Matrix에 나와 있습니다.
표준 이더넷, RDMA 성능, 개방형 하드웨어
RoCEv2는 AI 패브릭이 나머지 데이터센터가 이미 운영 중인 이더넷 운영 방식과 장비를 재사용하도록 하며, OcNOS는 개방형 스위치에서 이를 무손실로 만드는 조력자입니다.
표준 이더넷, RDMA 속도
RoCEv2는 라우팅 가능한 UDP/IP 위에서 RDMA를 전달하므로, GPU collective는 별도의 전용 패브릭 없이 저지연·저CPU 데이터 이동을 얻습니다.
개방형 하드웨어 선택
동일한 무손실 구성이 400G 및 800G에서 UfiSpace 및 Edgecore 스위치 전반에 실행되어 패브릭 계층을 멀티벤더로 유지합니다.
OcNOS가 조력자입니다
PFC, ECN, DLB, 스트리밍 텔레메트리가 개방형 스위치에서 하나의 NOS로 제공되므로, 완전한 무손실 패브릭은 통합 프로젝트가 아니라 하나의 구축입니다.
RoCEv2, 자주 묻는 질문
RoCEv2이란 무엇입니까?
RoCEv2와 RoCEv1의 차이는 무엇입니까?
RoCEv2 에는 lossless 네트워크가 필요합니까?
RoCEv2는 어떤 UDP 포트를 사용합니까?
RoCEv2 는 InfiniBand 와 비교하면 어떻습니까?
더 깊이 살펴보십시오. 자료를 소장하십시오.
제품 데이터시트와 이 페이지보다 한층 더 깊이 있는 간결한 기술 다운로드 자료입니다.
OcNOS-DC 데이터시트
OcNOS-DC 전체 사양: EVPN-VXLAN 및 Ethernet for AI 기능 세트, 소프트웨어 SKU, 지원 하드웨어 플랫폼, 솔루션 주문 가이드.
Datasheet 받기
OcNOS 800G 무손실 AI Fabric
Tomahawk 5 스파인 기반 무손실 RoCEv2 패브릭: SKU 등급, 인증된 플랫폼, 구축 아키텍처.
브리프 받기
EVPN-VXLAN 데이터센터 패브릭
EVPN-VXLAN 기반 리프-스파인 데이터센터 패브릭: 테넌트별 VRF 및 VNI, EVPN 멀티호밍, BGP unnumbered, 경로 타깃 필터링.
브리프 받기OcNOS-DC 데이터시트
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
OcNOS 800G 무손실 AI Fabric
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
EVPN-VXLAN 데이터센터 패브릭
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
OcNOS로 전체 AI 패브릭을 설계하십시오
비즈니스 사례부터 포트 수 계산까지, 구축 과정의 어느 단계에서든 이어서 진행하십시오.
AI 패브릭을 구축하거나 확장하고 계신가요? 워크로드에 특화된 검토를 받아보십시오
GPU 규모와 collective 패턴을 알려주시면 IP Infusion 엔지니어가 함께 스위치 계층을 사이징하고 무손실 구성을 튜닝해 드리며, AI Fabric Design Suite에서 1차 leaf-spine 레이아웃으로 시작하실 수도 있습니다.