AI 패브릭을 위한 InfiniBand vs Ethernet

대규모 분산 학습의 대다수 집합 연산에 대해서는 그렇습니다. Ethernet은 InfiniBand보다 수백 나노초 높은 지연 하한을 가지지만, PFC, DCQCN, DLB를 갖춘 RoCEv2가 올바르게 구성되면 이는 대부분의 워크로드에 영향을 미치는 임계값을 밑돕니다.

절대적인 지연 하한이 total cost of ownership보다 중요한 긴밀한 HPC 시뮬레이션과, single-vendor lock-in이 허용되는 폐쇄형 단일 테넌트 클러스터에는 InfiniBand를 선택하십시오.

Ethernet 는 멀티 테넌트 GPU-as-a-Service, data center 의 나머지 부분과 단일 운영 모델 및 도구를 공유하는 클러스터, 비용에 민감한 수천 GPU 규모의 구축, 그리고 coherent DCI 와 EVPN 을 통해 data center 간에 확장되는 fabric 에서 우위를 점합니다.

OcNOS-DC는 현재 RoCEv2 lossless 전송, DLB 적응형 라우팅, PFC 데드록 워치독을 제공하며, 종단 간 경로 스코어링을 위한 GLB를 7.1에서, UEC 지원을 NIC 출시에 맞춰 제공합니다. 이 모두는 Edgecore, UfiSpace 등 벤더의 검증된 open hardware에서 동작합니다.

대체로 그렇습니다. 다만 InfiniBand가 사라지는 것은 아닙니다. Dell'Oro Group에 따르면 이더넷은 AI back-end(scale-out) 스위칭에서 InfiniBand를 넘어섰으며, 2023년 말 InfiniBand의 약 80퍼센트 점유율에서 2026년 초에는 시장의 약 3분의 2에 도달했습니다. Dell'Oro는 또한 NVIDIA Blackwell Ultra 800G 확대에 따른 InfiniBand의 강한 반등을 언급하며, InfiniBand는 긴밀하게 결합된 HPC를 위한 전문 선택지로 남아 있습니다. Meta는 두 개의 24,576-GPU 클러스터 중 하나에서 RoCE 이더넷 패브릭을 통해 자사 최대 규모 모델을 학습했다고 설명했습니다. 운영 위원사로 AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta, Microsoft, Oracle을 포함하는 Ultra Ethernet Consortium이 이 방향을 표준화하고 있습니다. 그 이유는 운영적·경제적입니다. 나머지 데이터센터와 공유되는 하나의 네트워크 모델, 멀티벤더 공급망, 그리고 400G 및 800G에서의 더 낮은 포트당 비용입니다.

RoCEv2를 갖춘 이더넷이 주류 대안입니다. PFC, ECN, DCQCN을 사용해 RDMA를 무손실로 전달하고, DLB를 통해 적응형 라우팅을 더하며, UEC NIC이 출시됨에 따라 Ultra Ethernet을 통해 packet spray와 멀티패스 RDMA를 확보합니다. OcNOS-DC를 실행하는 개방형 하드웨어에서는 단일 벤더 패브릭이 아닌 멀티벤더 스택으로 이를 제공합니다.

Ultra Ethernet(UEC)은 InfiniBand를 정의했던 트랜스포트 기법을 표준 이더넷으로 가져옵니다. 모든 경로에 걸친 packet spray, 멀티패스 RDMA, 비순차 전달, 그리고 선택적 재전송입니다. 2025년 6월에 게시된 UEC 1.0 사양이 이 트랜스포트를 정의합니다. 차이는 생태계에 있습니다. InfiniBand는 NIC 및 스위치 실리콘에서 사실상 단일 벤더인 반면, Ultra Ethernet은 모든 벤더가 구현할 수 있는 개방형 멀티벤더 사양입니다.

스위칭 계층은 AI 클러스터 총소유비용에서 비교적 적은 비중으로, 일반적으로 5년에 걸쳐 한 자릿수 비율이지만, NIC·광 트랜시버·케이블링을 포함하면 그 수치는 올라갑니다. 동등한 용량 기준으로, 단일 벤더 InfiniBand는 일반적으로 OcNOS-DC를 실행하는 개방형 하드웨어 이더넷보다 가격 프리미엄을 수반합니다. 더 유용한 질문은 절감된 자본이 더 많은 GPU, 더 큰 스토리지 계층, 또는 복원력을 위한 두 번째 사이트 중 무엇에 쓰이는가입니다.