RoCEv2 · DLB · Ultra Ethernet

InfiniBand frente a Ethernet para AI Fabrics

Para la mayoría de las fabrics de IA, Ethernet. Para HPC con latencia crítica, InfiniBand. El Ethernet moderno con RoCEv2 ya opera fabrics de producción a 400G y 800G sobre hardware abierto y multiproveedor, y OcNOS-DC lo ofrece hoy. Esta guía cubre dónde sigue encajando cada uno.

Two-thirdsCuota de Ethernet, escalado horizontal de IA
hasta 800Gfabrics RoCEv2 en producción
1 NOSOcNOS-DC sobre hardware abierto
600+redes de operador sobre OcNOS
Dos fabrics, dos modelos operativos

Las mismas GPU, dos redes muy distintas

A la izquierda, una fabric InfiniBand de un solo proveedor: un único proveedor de silicio, una línea de switches, un ecosistema de NIC y un subnet manager separado del resto del centro de datos. A la derecha, una fabric Ethernet abierta y multiproveedor: NIC RoCEv2 o UEC de cualquier proveedor, silicio de switch Broadcom, OcNOS-DC como NOS y los mismos protocolos que ya ejecuta.

Fabric InfiniBand de un solo proveedor frente a fabric Ethernet multiproveedor Two side-by-side fabric topologies. Left: a single-vendor InfiniBand fabric with two IB switches and three GPUs. Right: a multi-vendor Ethernet fabric with two OcNOS-DC spines and three GPUs with RoCEv2 or UEC NICs. Bottom labels contrast a single-vendor stack with an open multi-vendor stack. INFINIBAND · SINGLE-VENDOR ETHERNET · OPEN MULTI-VENDOR IB Switch-1Quantum-class IB Switch-2Quantum-class GPUIB NIC GPUIB NIC GPUIB NIC SINGLE NIC + SWITCH VENDOR SUBNET MANAGER · LIMITED MULTI-TENANCY Spine-1OcNOS-DC · TH5 Spine-2OcNOS-DC · TH5 GPURoCEv2/UEC GPURoCEv2/UEC GPURoCEv2/UEC MULTI-VENDOR · OPEN HARDWARE RoCEv2 · DLB · GLB · UEC · EVPN-VXLAN · gNMI SINGLE-VENDOR STACK vs OPEN MULTI-VENDOR STACK
Cómo se comparan

InfiniBand y Ethernet, eje por eje

InfiniBand se diseñó a propósito para RDMA sin pérdidas y de baja latencia, y durante dos décadas eso le dio una ventaja real en HPC fuertemente acoplado. El Ethernet moderno, construido sobre la pila DCB, RoCEv2 y cada vez más DLB y UEC, ha dedicado los últimos años a cerrar esa brecha. Qué brechas siguen importando depende de la carga de trabajo.

Axis InfiniBandsingle-vendor EthernetRoCEv2 / UEC, abierto
Piso de latenciaLatencia NIC a NIC de extremo a extremo muy baja; típicamente cientos de nanosegundos por salto de switch.Un piso más alto que IB por cientos de nanosegundos, pero muy por debajo del umbral que afecta a la mayoría de los collectives de entrenamiento distribuido a escala.
Tolerancia a pérdidasSin pérdidas por arquitectura (control de flujo basado en créditos).Sin pérdidas mediante PFC + ECN + DCQCN. De nivel producción hoy mismo; UEC reduce aún más la dependencia de la pausa PFC.
Múltiples rutas / balanceo de cargaEnrutamiento adaptativo integrado en la especificación.ECMP estático, además de DLB para el adaptativo de un solo salto, GLB (OcNOS 7.1) para el extremo a extremo y UEC packet-spray para la próxima generación.
Ecosistema de proveedoresPrácticamente de un solo proveedor tanto para el silicio de NIC como de switch.Multiproveedor en cada capa: ASIC, switch, NIC, NOS, óptica. UEC está diseñado explícitamente para la interoperabilidad neutral respecto al proveedor.
Modelo operativoSubnet manager (de clase UFM). Distinto del resto del DC. Habilidades separadas, herramientas separadas.El mismo BGP, EVPN y gNMI que usted ya utiliza. Las mismas herramientas de automatización (Ansible, NETCONF, OpenConfig) que el resto del DC.
Multi-tenancyLimitado; existe la partición, pero no es un concepto de primer nivel.De primer nivel mediante EVPN-VXLAN. GPU-as-a-Service, clústeres multiequipo e infraestructura compartida, todo de forma natural.
DCI de larga distanciaNo está diseñado para ello; requiere gateways de IB-over-WAN.Nativo mediante pluggables coherentes 400G ZR/ZR+ y EVPN inter-DC.
Convergencia de almacenamientoEl almacenamiento se ejecuta junto al cómputo; requiere almacenamiento conectado por IB.NVMe-oF, NFS, S3, todos sobre la misma fabric Ethernet.
Costo / puerto (típico 400G+)Sobreprecio; precios de un solo proveedor.Un spine de hardware abierto + NOS OcNOS-DC supera de forma sustancial a las alternativas con bloqueo de proveedor.
Velocidad de la hoja de rutaImpulsado por la cadencia de versiones de un único proveedor.El consorcio UEC (AMD, Arista, Broadcom, Cisco, HPE, Intel, Meta, Microsoft, Oracle) impulsa una evolución de especificación publicada abiertamente.
La decisión

Dónde gana cada uno

La respuesta correcta es específica de cada carga de trabajo. Elija InfiniBand donde un piso de latencia absoluto sea el requisito; elija Ethernet donde el modelo operativo, el coste o el alcance entre sitios decida.

Elija InfiniBand cuando

El piso de latencia es contractual

Simulación HPC donde el piso de latencia absoluto importa más que el coste total de propiedad, y clústeres cautivos, monotenant y estrechamente acoplados donde el bloqueo propietario es aceptable.

Elija Ethernet cuando

El modelo operativo importa

GPU-as-a-Service multitenant y clústeres que comparten infraestructura con el resto del centro de datos, donde ganan un solo modelo operativo, una sola pila de herramientas y una cadena de suministro multiproveedor.

Elija Ethernet cuando

El coste por GPU-flop es la barrera

Los spines de hardware abierto con OcNOS-DC eliminan el sobreprecio de red de un solo proveedor. En un clúster de varios miles de GPU, eso supone una porción sustancial del presupuesto de hardware.

Elija Ethernet cuando

La fabric abarca centros de datos

Si un entrenamiento llegará a cruzar alguna vez dos salas o dos regiones, el DCI coherente, el EVPN inter-DC y la óptica estándar multiproveedor lo convierten en un problema de un día en lugar de un proyecto de line-system de un trimestre.

Dónde se cerró la brecha

Qué añadió el Ethernet moderno

Tres avances llevaron las fabrics de IA de producción a Ethernet: un comportamiento genuinamente sin pérdidas, un enrutamiento adaptativo que mantiene los flujos fuera de los enlaces ascendentes congestionados y un transporte de nueva generación apto para packet spray.

Comportamiento sin pérdidas

RoCEv2 with PFC, DCQCN y el watchdog de deadlock de PFC ofrecen el transporte RDMA sin pérdidas que necesitan los colectivos de IA, con grado de producción hoy sobre Ethernet estándar.

Enrutamiento adaptativo

Las colisiones ECMP estáticas en cargas de AI son reales, pero DLB reasigna flowlets ante la congestión local en ventanas de submilisegundos, y GLB en OcNOS 7.1 lo extiende a una puntuación de ruta extremo a extremo.

Transporte apto para packet spray

Ultra Ethernet (UEC 1.0, junio de 2025) trae packet spray, RDMA multi-path y entrega fuera de orden a Ethernet estándar. Construya sobre RoCEv2 ahora y mantenga un camino limpio hacia UEC a medida que se lancen las NIC.

La conversación sobre el TCO

La red es una partida pequeña, así que dedique la comparación a lo que libera

A lo largo de cinco años la capa de conmutación es un porcentaje de un solo dígito del TCO del clúster, que sube al contar NIC, óptica y cableado. La pregunta útil no es la partida, sino qué financia el capital ahorrado.

  • A igualdad de capacidad, InfiniBand de un solo proveedor aplica un sobreprecio frente a Ethernet de hardware abierto.
  • El capital ahorrado financia más GPU, un nivel de almacenamiento mayor o un segundo sitio para resiliencia.
  • Donde la fabric es multitenant o compartida con el resto del centro de datos, un solo modelo de red vale más que la diferencia de partida.
La perspectiva de IP Infusion

Ambos tienen su lugar, y la mayoría de las fabrics de IA pertenecen a Ethernet

Ethernet no gana en toda carga de trabajo, pero el argumento operativo y económico es decisivo para la mayoría, y se refuerza a medida que se cierra la brecha técnica.

Ambos tienen su lugar

Ethernet no gana en toda carga de trabajo. Los clústeres HPC estrechamente acoplados con requisitos de latencia de piso absoluto siguen favoreciendo a InfiniBand.

La mayoría de las fabrics de IA pertenecen a Ethernet

El entrenamiento y la inferencia de IA en producción a hiperescala están migrando a Ethernet a medida que crece el argumento operativo y económico y sigue cerrándose la brecha técnica.

OcNOS-DC es el camino abierto

RoCEv2 hoy, DLB hoy, GLB a continuación, UEC a medida que se entreguen las NICs. Un solo NOS, una sola hoja de ruta de funciones, sobre hardware abierto validado de Edgecore, UfiSpace y otros.

Preguntas frecuentes

InfiniBand frente a Ethernet, respondido

¿Es Ethernet lo bastante rápido para el entrenamiento de AI frente a InfiniBand?
Para la mayoría de los colectivos de entrenamiento distribuido a escala, sí. Ethernet presenta un suelo de latencia superior en varios cientos de nanosegundos al de InfiniBand, pero eso se sitúa por debajo del umbral que afecta a la mayoría de las cargas de trabajo una vez que RoCEv2 con PFC, DCQCN y DLB está correctamente configurado.
¿En qué casos conviene aún elegir InfiniBand?
Elija InfiniBand para las simulaciones HPC estrechamente acopladas, en las que el piso absoluto de latencia importa más que el total cost of ownership, y para los clústeres cautivos de un solo inquilino en los que el lock-in de un único fabricante resulta aceptable.
¿En qué casos Ethernet resulta preferible para una AI fabric?
El Ethernet se impone en el GPU-as-a-Service multiinquilino, en los clústeres que comparten un mismo modelo operativo y las mismas herramientas con el resto del data center, en las implantaciones de varios miles de GPU sensibles al coste, y en las fabrics que se extienden entre data centers mediante coherent DCI y EVPN.
¿Cómo reduce OcNOS la diferencia con InfiniBand?
OcNOS-DC ofrece hoy el transporte RoCEv2 lossless, el enrutamiento adaptativo DLB y el watchdog contra deadlock de PFC, el GLB en 7.1 para la puntuación de ruta de extremo a extremo, y la compatibilidad con UEC a medida que se distribuyen las NIC, todo ello sobre open hardware validado de fabricantes como Edgecore y UfiSpace.
¿Están los hiperescaladores reemplazando InfiniBand por Ethernet para IA?
En gran medida sí, aunque InfiniBand no va a desaparecer. Según Dell'Oro Group, Ethernet superó a InfiniBand en la conmutación de back-end (escalado horizontal) de IA y alcanzó cerca de dos tercios del mercado a principios de 2026, frente a la cuota de aproximadamente el 80 por ciento de InfiniBand a finales de 2023. Dell'Oro también señala un fuerte repunte de InfiniBand con la rampa de 800G de NVIDIA Blackwell Ultra, por lo que sigue siendo la opción especializada para HPC estrechamente acoplado. Meta ha descrito el entrenamiento de sus modelos más grandes sobre una fabric Ethernet RoCE en uno de dos clústeres de 24.576 GPU. El Ultra Ethernet Consortium, cuyos miembros directivos incluyen AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta, Microsoft y Oracle, estandariza esta dirección. Las razones son operativas y económicas: un solo modelo de red compartido con el resto del centro de datos, una cadena de suministro multiproveedor y un menor coste por puerto a 400G y 800G.
¿Cuál es la mejor alternativa a InfiniBand para la red de un clúster de IA?
Ethernet con RoCEv2 es la alternativa principal. Transporta RDMA sin pérdidas mediante PFC, ECN y DCQCN, añade enrutamiento adaptativo con DLB y gana packet spray y RDMA multi-path con Ultra Ethernet a medida que se lanzan las NIC UEC. Sobre hardware abierto con OcNOS-DC, lo ofrece sobre una pila multiproveedor en lugar de una fabric de un solo proveedor.
¿Cuál es la diferencia entre Ultra Ethernet e InfiniBand?
Ultra Ethernet (UEC) lleva a Ethernet estándar las técnicas de transporte que definieron InfiniBand: packet spray por todas las rutas, RDMA multi-path, entrega fuera de orden y retransmisión selectiva. La especificación UEC 1.0, publicada en junio de 2025, define este transporte. La diferencia está en el ecosistema: InfiniBand es de facto de un solo proveedor para el silicio de NIC y de switch, mientras que Ultra Ethernet es una especificación abierta y multiproveedor a la que cualquier proveedor puede ajustarse.
¿Cuánto cuesta una fabric Ethernet de IA en comparación con InfiniBand?
La capa de conmutación es una porción modesta del coste total de propiedad de un clúster de IA, normalmente un porcentaje de un solo dígito a lo largo de cinco años, aunque la cifra sube al contar NIC, óptica y cableado. A igualdad de capacidad, InfiniBand de un solo proveedor suele aplicar un sobreprecio frente a Ethernet de hardware abierto con OcNOS-DC. La pregunta más útil es qué financia el capital ahorrado, ya sean más GPU, un nivel de almacenamiento mayor o un segundo sitio para resiliencia.

¿Dimensionando su próximo clúster? Obtenga una revisión específica de su carga de trabajo

Díganos la carga de trabajo y la escala de GPU, y un ingeniero de IP Infusion hará los cálculos con usted, o empiece con un primer trazado leaf-spine en el AI Fabric Design Suite.