RoCEv2 · DLB · Ultra Ethernet

InfiniBand frente a Ethernet para AI Fabrics

Para la mayoría de las fabrics de IA, Ethernet. Para HPC con latencia crítica, InfiniBand. El Ethernet moderno con RoCEv2 ya opera fabrics de producción a 400G y 800G sobre hardware abierto y multiproveedor, y OcNOS-DC lo ofrece hoy. Esta guía cubre dónde sigue encajando cada uno.

Dos terciosCuota de Ethernet, escalado horizontal de IA
hasta 800Gfabrics RoCEv2 en producción
1 NOSOcNOS-DC sobre hardware abierto
600+redes de operador sobre OcNOS

Las mismas GPU, dos redes muy distintas

A la izquierda, un fabric InfiniBand de un solo proveedor: un proveedor de silicio, una línea de switches, un ecosistema de NIC y un gestor de subred separado del resto del centro de datos. A la derecha, un fabric Ethernet abierto y multiproveedor: NIC RoCEv2 de cualquier proveedor, silicio de switch Broadcom, OcNOS-DC como NOS y los mismos protocolos que ya utiliza.

Fabric InfiniBand de un solo proveedor frente a fabric Ethernet multiproveedor Dos topologías de fabric lado a lado. Izquierda: un fabric InfiniBand de un solo proveedor con dos switches IB y tres GPU. Derecha: un fabric Ethernet multiproveedor con dos spines OcNOS-DC y tres GPU con NIC RoCEv2. Las etiquetas inferiores contrastan una pila de un solo proveedor con una pila abierta multiproveedor. INFINIBAND · UN SOLO FABRICANTE ETHERNET · ABIERTO Y MULTIFABRICANTE Switch IB-1InfiniBand Switch IB-2InfiniBand GPUIB NIC GPUIB NIC GPUIB NIC NIC Y SWITCH DEL MISMO FABRICANTE SUBNET MANAGER · MULTITENENCIA LIMITADA Spine-1OcNOS-DC · TH5 Spine-2OcNOS-DC · TH5 GPURoCEv2 GPURoCEv2 GPURoCEv2 MULTIFABRICANTE · HARDWARE ABIERTO RoCEv2 · DLB · EVPN-VXLAN · gNMI PILA DE UN SOLO FABRICANTE FRENTE A PILA ABIERTA MULTIFABRICANTE

InfiniBand y Ethernet, eje por eje

InfiniBand se diseñó a propósito para RDMA sin pérdidas y de baja latencia, y durante dos décadas eso le dio una ventaja real en HPC fuertemente acoplado. El Ethernet moderno, construido sobre la pila DCB, RoCEv2 y cada vez más DLB y UEC, ha dedicado los últimos años a cerrar esa brecha. Qué brechas siguen importando depende de la carga de trabajo.

Aspecto InfiniBandun solo fabricante EthernetRoCEv2 / UEC, abierto
Piso de latenciaLatencia NIC a NIC de extremo a extremo muy baja; típicamente cientos de nanosegundos por salto de switch.Un piso más alto que IB por cientos de nanosegundos, pero muy por debajo del umbral que afecta a la mayoría de los collectives de entrenamiento distribuido a escala.
Tolerancia a pérdidasSin pérdidas por arquitectura (control de flujo basado en créditos).Sin pérdidas mediante PFC + ECN + DCQCN. De nivel producción hoy mismo; UEC reduce aún más la dependencia de la pausa PFC.
Múltiples rutas / balanceo de cargaEnrutamiento adaptativo integrado en la especificación.ECMP estático, además de DLB para el balanceo de un solo salto según la congestión, GLB (OcNOS 7.1) para el extremo a extremo y UEC packet-spray para la próxima generación.
Ecosistema de proveedoresPrácticamente de un solo proveedor tanto para el silicio de NIC como de switch.Multiproveedor en cada capa: ASIC, switch, NIC, NOS, óptica. UEC está diseñado explícitamente para la interoperabilidad neutral respecto al proveedor.
Modelo operativoSubnet manager. Distinto del resto del DC. Habilidades separadas, herramientas separadas.El mismo BGP, EVPN y gNMI que usted ya utiliza. Las mismas herramientas de automatización (Ansible, NETCONF, OpenConfig) que el resto del DC.
MultitenenciaLimitado; existe la partición, pero no es un concepto de primer nivel.De primer nivel mediante EVPN-VXLAN. GPU-as-a-Service, clústeres multiequipo e infraestructura compartida, todo de forma natural.
DCI de larga distanciaNo está diseñado para ello; requiere gateways de IB-over-WAN.Nativo mediante pluggables coherentes 400G ZR/ZR+ y EVPN inter-DC.
Convergencia de almacenamientoEl almacenamiento se ejecuta junto al cómputo; requiere almacenamiento conectado por IB.NVMe-oF, NFS, S3, todos sobre la misma fabric Ethernet.
Velocidad de la hoja de rutaImpulsado por la cadencia de versiones de un único proveedor.El consorcio UEC, cuyos miembros abarcan empresas de silicio, NIC, switches y nube, impulsa una evolución de la especificación publicada abiertamente.

Dónde gana cada uno

La respuesta correcta es específica de cada carga de trabajo. Elija InfiniBand donde un piso de latencia absoluto sea el requisito; elija Ethernet donde el modelo operativo, el coste o el alcance entre sitios decida.

Elija InfiniBand cuando

El piso de latencia es contractual

Simulación HPC donde el piso de latencia absoluto importa más que el coste total de propiedad, y clústeres cautivos, monotenant y estrechamente acoplados donde el bloqueo propietario es aceptable.

Elija Ethernet cuando

El modelo operativo importa

GPU-as-a-Service multitenant y clústeres que comparten infraestructura con el resto del centro de datos, donde ganan un solo modelo operativo, una sola pila de herramientas y una cadena de suministro multiproveedor.

Elija Ethernet cuando

El coste por GPU-flop es la barrera

OcNOS-DC funciona sobre hardware abierto de varios proveedores, por lo que el hardware de conmutación puede adquirirse en competencia.

Elija Ethernet cuando

La fabric abarca centros de datos

Si un entrenamiento llegará a cruzar alguna vez dos salas o dos regiones, el DCI coherente, el EVPN inter-DC y la óptica estándar multiproveedor extienden el mismo fabric Ethernet entre sitios.

Qué añadió el Ethernet moderno

Tres avances llevaron las fabrics de IA de producción a Ethernet: un comportamiento genuinamente sin pérdidas, un balanceo de carga que mantiene los flujos fuera de los enlaces ascendentes congestionados y un transporte de nueva generación apto para packet spray.

Comportamiento sin pérdidas

RoCEv2 con PFC, DCQCN y la detección y recuperación de deadlocks de PFC ofrecen el transporte RDMA sin pérdidas que necesitan los colectivos de IA, con grado de producción hoy sobre Ethernet estándar.

El balanceo dinámico de carga

Las colisiones ECMP estáticas en cargas de AI son reales, pero DLB reasigna flowlets ante la congestión local, y GLB en OcNOS 7.1 lo extiende a una puntuación de ruta extremo a extremo.

Transporte apto para packet spray

Ultra Ethernet (UEC 1.0, junio de 2025) trae packet spray, RDMA multi-path y entrega fuera de orden a Ethernet estándar. Construya hoy sobre RoCEv2 y planifique UEC a medida que lleguen las NIC compatibles con UEC.

La red es una partida pequeña, así que dedique la comparación a lo que libera

  • OcNOS-DC funciona sobre hardware abierto de varios proveedores, por lo que el hardware de conmutación puede adquirirse en competencia.
  • El capital ahorrado financia más GPU, un nivel de almacenamiento mayor o un segundo sitio para resiliencia.
  • Donde la fabric es multitenant o compartida con el resto del centro de datos, un solo modelo de red vale más que la diferencia de partida.

Ambos tienen su lugar, y la mayoría de las fabrics de IA pertenecen a Ethernet

Ethernet no gana en toda carga de trabajo, pero el argumento operativo y económico es decisivo para la mayoría, y se refuerza a medida que se cierra la brecha técnica.

Ambos tienen su lugar

Ethernet no gana en toda carga de trabajo. Los clústeres HPC estrechamente acoplados con requisitos de latencia de piso absoluto siguen favoreciendo a InfiniBand.

La mayoría de las fabrics de IA pertenecen a Ethernet

El entrenamiento y la inferencia de IA en producción a hiperescala están migrando a Ethernet a medida que crece el argumento operativo y económico y sigue cerrándose la brecha técnica.

OcNOS-DC es el camino abierto

RoCEv2 y DLB hoy, GLB en OcNOS 7.1. Un solo NOS en hardware abierto validado de Edgecore, UfiSpace y otros.

InfiniBand frente a Ethernet, respondido

¿Es Ethernet lo bastante rápido para el entrenamiento de AI frente a InfiniBand?
Para la mayoría de los colectivos de entrenamiento distribuido a escala, sí. Ethernet presenta un suelo de latencia superior en varios cientos de nanosegundos al de InfiniBand, pero eso se sitúa por debajo del umbral que afecta a la mayoría de las cargas de trabajo una vez que RoCEv2 con PFC, DCQCN y DLB está correctamente configurado.
¿En qué casos conviene aún elegir InfiniBand?
Elija InfiniBand para las simulaciones HPC estrechamente acopladas, en las que el piso absoluto de latencia importa más que el total cost of ownership, y para los clústeres cautivos de un solo inquilino en los que el lock-in de un único fabricante resulta aceptable.
¿En qué casos Ethernet resulta preferible para una AI fabric?
El Ethernet se impone en el GPU-as-a-Service multiinquilino, en los clústeres que comparten un mismo modelo operativo y las mismas herramientas con el resto del centro de datos, en las implantaciones de varios miles de GPU sensibles al coste, y en las fabrics que se extienden entre centros de datos mediante coherent DCI y EVPN.
¿Cómo reduce OcNOS la diferencia con InfiniBand?
OcNOS-DC ofrece hoy transporte RoCEv2 sin pérdidas, balanceo de carga dinámico (DLB) y detección y recuperación de deadlocks de PFC, con GLB en 7.1 para la puntuación de rutas de extremo a extremo, todo en hardware abierto validado de proveedores como Edgecore y UfiSpace.
¿Están los hiperescaladores reemplazando InfiniBand por Ethernet para IA?
En gran medida sí, aunque InfiniBand no va a desaparecer. Según Dell'Oro Group, Ethernet superó a InfiniBand en la conmutación de back-end de IA (scale-out) y alcanzó cerca de dos tercios del mercado a principios de 2026, frente a la cuota de aproximadamente el 80 % de InfiniBand a finales de 2023. Meta ha descrito el entrenamiento de sus modelos más grandes sobre un fabric Ethernet RoCE en uno de sus dos clústeres de 24.576 GPU. El Ultra Ethernet Consortium, cuyos miembros abarcan empresas de silicio, NIC, switches y nube, estandariza esta dirección. Las razones son operativas y económicas: un modelo de red compartido con el resto del centro de datos, una cadena de suministro multiproveedor y un menor coste por puerto a 400G y 800G.
¿Cuál es la mejor alternativa a InfiniBand para la red de un clúster de IA?
Ethernet con RoCEv2 es la alternativa principal. Transporta RDMA sin pérdidas mediante PFC, ECN y DCQCN y añade balanceo de carga dinámico (DLB), y OcNOS-DC lo ofrece sobre hardware abierto y multiproveedor en lugar de un fabric de un solo proveedor. Ultra Ethernet (UEC) añade packet spray y RDMA multitrayecto en NIC compatibles con UEC.
¿Cuál es la diferencia entre Ultra Ethernet e InfiniBand?
Ultra Ethernet (UEC) añade a Ethernet estándar un transporte diseñado para IA y HPC: packet spray por todas las rutas, RDMA multi-path, entrega fuera de orden y retransmisión selectiva. La especificación UEC 1.0, publicada en junio de 2025, define este transporte. La diferencia está en el ecosistema: InfiniBand es de facto de un solo proveedor para el silicio de NIC y de switch, mientras que Ultra Ethernet es una especificación abierta y multiproveedor a la que cualquier proveedor puede ajustarse.
¿Cuánto cuesta una fabric Ethernet de IA en comparación con InfiniBand?
OcNOS-DC funciona sobre hardware abierto de varios proveedores, por lo que el hardware de conmutación puede adquirirse de forma competitiva. La pregunta más útil es qué financia el capital ahorrado, ya sean más GPU, un nivel de almacenamiento mayor o un segundo sitio para la resiliencia. Póngase en contacto con IP Infusion para conocer los precios para su plataforma.

¿Dimensionando su próximo clúster? Obtenga una revisión específica de su carga de trabajo

Díganos la carga de trabajo y la escala de GPU, y un ingeniero de IP Infusion hará los cálculos con usted, o empiece con un primer trazado leaf-spine en el AI Fabric Design Suite.