AI 패브릭을 위한 InfiniBand vs Ethernet

대규모 분산 학습의 대다수 집합 연산에 대해서는 그렇습니다. Ethernet은 InfiniBand보다 수백 나노초 높은 지연 하한을 가지지만, PFC, DCQCN, DLB를 갖춘 RoCEv2가 올바르게 구성되면 이는 대부분의 워크로드에 영향을 미치는 임계값을 밑돕니다.

절대적인 지연 하한이 total cost of ownership보다 중요한 긴밀한 HPC 시뮬레이션과, single-vendor lock-in이 허용되는 폐쇄형 단일 테넌트 클러스터에는 InfiniBand를 선택하십시오.

Ethernet 는 멀티 테넌트 GPU-as-a-Service, data center 의 나머지 부분과 단일 운영 모델 및 도구를 공유하는 클러스터, 비용에 민감한 수천 GPU 규모의 구축, 그리고 coherent DCI 와 EVPN 을 통해 data center 간에 확장되는 fabric 에서 우위를 점합니다.

OcNOS-DC는 현재 RoCEv2 무손실 전송, DLB 적응형 라우팅, PFC 교착 상태 워치독을 제공하며, 7.1에서는 종단 간 경로 점수 평가를 위한 GLB를 제공합니다. 모두 Edgecore, UfiSpace 등 벤더의 검증된 개방형 하드웨어에서 실행됩니다.

대체로 그렇지만 InfiniBand가 사라지는 것은 아닙니다. Dell'Oro Group에 따르면 이더넷은 AI 백엔드(스케일아웃) 스위칭에서 InfiniBand를 앞질러 2026년 초까지 시장의 약 3분의 2에 도달했으며, 이는 2023년 말 InfiniBand의 약 80% 점유율에서 달라진 것입니다. Dell'Oro는 NVIDIA Blackwell Ultra 800G 확대에 따른 InfiniBand의 강한 반등도 언급하며, 밀접하게 결합된 HPC에서는 여전히 전문적인 선택지로 남아 있습니다. Meta는 두 개의 24,576-GPU 클러스터 중 하나에서 RoCE 이더넷 패브릭으로 최대 규모 모델을 학습한다고 설명했습니다. 실리콘, NIC, 스위치, 클라우드 기업을 회원으로 둔 Ultra Ethernet Consortium이 이 방향을 표준화하고 있습니다. 이유는 운영과 경제성입니다: 데이터센터의 나머지 부분과 공유하는 하나의 네트워크 모델, 멀티벤더 공급망, 그리고 400G 및 800G에서 더 낮은 포트당 비용입니다.

RoCEv2 기반 이더넷이 주류 대안입니다. PFC, ECN, DCQCN으로 RDMA를 무손실로 전송하고 DLB로 적응형 라우팅을 더하며, OcNOS-DC는 이를 단일 벤더 패브릭이 아닌 개방형 멀티벤더 하드웨어에서 제공합니다. Ultra Ethernet(UEC)은 UEC 지원 NIC에서 패킷 스프레이와 멀티패스 RDMA를 추가합니다.

Ultra Ethernet(UEC)은 AI 및 HPC를 위해 설계된 트랜스포트를 표준 이더넷에 추가합니다. 모든 경로에 걸친 packet spray, 멀티패스 RDMA, 비순차 전달, 그리고 선택적 재전송입니다. 2025년 6월에 게시된 UEC 1.0 사양이 이 트랜스포트를 정의합니다. 차이는 생태계에 있습니다. InfiniBand는 NIC 및 스위치 실리콘에서 사실상 단일 벤더인 반면, Ultra Ethernet은 모든 벤더가 구현할 수 있는 개방형 멀티벤더 사양입니다.

스위칭 계층은 AI 클러스터 총소유비용에서 비교적 적은 비중으로, 일반적으로 5년에 걸쳐 한 자릿수 비율이지만, NIC·광 트랜시버·케이블링을 포함하면 그 수치는 올라갑니다. OcNOS-DC는 여러 벤더의 개방형 하드웨어에서 실행되므로 스위치 하드웨어를 경쟁 조달할 수 있습니다. 더 유용한 질문은 절감되는 자본이 더 많은 GPU, 더 큰 스토리지 계층, 또는 복원력을 위한 두 번째 사이트 중 무엇에 쓰이는가입니다. 사용 중인 플랫폼의 가격은 IP Infusion에 문의하십시오.