Definición de redes · RDMA · RoCEv2

¿Qué es una fabric de IA?

Una fabric de IA es la red de back-end de GPU (escalado horizontal) que transporta tráfico RDMA entre GPU durante el entrenamiento y la inferencia distribuidos. Conecta cada NIC de GPU entre servidores y pods mediante switches leaf y spine en topologías optimizadas por rail y Clos, y utiliza un transporte Ethernet sin pérdidas (RoCEv2 con PFC y ECN) para que no se descarte ningún paquete bajo carga. Como las GPU intercambian datos en operaciones colectivas sincronizadas, la latencia de cola de la fabric determina el tiempo de finalización de los trabajos. Este es el sentido de redes, no la «data fabric» empresarial que se usa en la gestión de datos. OcNOS-DC proporciona esta fabric sobre hardware Broadcom Tomahawk 5.

Solicite una revisión de arquitectura Vea las topologías
RoCEv2transporte Ethernet sin pérdidas
51,2 TbpsTomahawk 5, 64x800G
hasta 16.384GPU, tres niveles
OcNOS-DCun solo NOS sobre hardware abierto

El sentido de redes, no «data fabric»

Dos campos distintos usan la palabra «fabric». Un data fabric es una arquitectura de software para unificar y gobernar datos en una empresa. Una fabric de IA, el tema de esta página, es una red física: los cables, switches y el transporte que mueven tráfico RDMA entre GPU. Cuando un equipo de infraestructura de IA dice «la fabric fue el cuello de botella», se refiere a esta red, la que decidió cuánto tardó el entrenamiento.

  • Fabric de datos. Una arquitectura empresarial de gestión de datos para unificar y gobernar datos entre sistemas. Software, no cables.
  • Fabric de IA. La red física de back-end de GPU que transporta RDMA entre GPU durante el entrenamiento y la inferencia. Esta página trata sobre este significado.
  • Por qué importa. La fabric de IA es la que fija el tiempo de finalización del trabajo, así que se diseña para mantenerse sin pérdidas y cargada de forma pareja.

Rails, Clos y un transporte que no puede descartar

Una fabric de IA es una red leaf-spine (Clos) ajustada para un patrón de tráfico: muchas GPU enviándose grandes flujos entre sí a la vez. Tres elecciones de diseño la definen, y cada una existe para proteger el tiempo de finalización del trabajo.

Topología

Rail-optimized, dos niveles y luego tres

Cada una de las 8 NIC de un servidor GPU se conecta a su propio rail leaf dedicado, de modo que el tráfico AllReduce dominante del mismo rail permanece en un solo leaf. Más allá de un solo pod de 4.096 GPU, el mismo diseño rail-optimized añade un tercer nivel: leaf, spine y super-spine.

Topologías de AI fabric
Transporte

RoCEv2 sin pérdidas

Las GPU mueven datos con RDMA, que rinde mal cuando se descartan paquetes. PFC evita que una cola de switch se desborde y ECN marca los paquetes de forma temprana para que la NIC emisora reduzca la velocidad antes de que ocurra la pérdida. Esa combinación transporta RoCEv2 sobre Ethernet.

Tejido sin pérdidas RoCEv2
Comportamiento

Por qué tiene que ser sin pérdidas

OcNOS-DC entrega esta fabric con PFC (incluido sobre L3), ECN, Dynamic ECN, WRED, y balanceo de carga dinámico para mantener cada ruta cargada de forma pareja, porque el flujo de cola decide cuándo termina todo el trabajo.

Ethernet sin pérdidas

Ethernet basta, y el switch fija el techo

La fabric de IA es una red Ethernet hoy. Lo que puede alcanzar lo fija el silicio de switch por debajo y el recuento de GPU para el que diseña.

  • Ethernet basta. RoCEv2 con PFC y ECN ofrece RDMA sin pérdidas sobre hardware estándar y multiproveedor. Meta ha publicado un clúster de entrenamiento de 24.576 GPU construido sobre Ethernet.
  • El switch fija el techo. OcNOS-DC corre sobre plataformas Broadcom Tomahawk 5 (51.2 Tbps, 64x800G) como el Edgecore AIS800-64D y el UfiSpace S9321-64E, la densidad que necesita una fabric de GPU 800G.
  • Diseñe por recuento de GPU. Pod rail-optimized de dos niveles hasta 4.096 GPU sobre Tomahawk 5, luego un tercer nivel super-spine hasta 16.384 GPU.

Preguntas frecuentes sobre qué es una fabric de IA

¿Qué es una AI fabric?
En redes, una fabric de IA es la red de back-end de GPU (escalado horizontal) que transporta tráfico RDMA entre GPU durante el entrenamiento y la inferencia distribuidos. Conecta las NIC de GPU entre cada servidor y pod de modo que una operación colectiva como AllReduce se completa tan rápido como el enlace más lento lo permita. Se construye a partir de switches leaf y spine en topologías rail-optimized y Clos, y ejecuta un transporte Ethernet sin pérdidas (RoCEv2 con PFC y ECN). OcNOS-DC aporta esa fabric sobre hardware Broadcom Tomahawk 5.
¿Es una fabric de IA lo mismo que un data fabric?
No. Son términos distintos que comparten una palabra. Un data fabric es una arquitectura empresarial de gestión de datos para unificar y gobernar datos entre sistemas. Una fabric de IA, en el sentido de redes usado aquí, es una red física de back-end de GPU que mueve tráfico RDMA entre GPU. Esta página trata sobre el significado de redes.
¿Por qué decide la fabric de IA el tiempo de finalización del trabajo?
El entrenamiento de GPU corre en sincronía. Tras cada paso, las GPU intercambian gradientes en un colectivo, y cada GPU espera a que ese intercambio termine antes de que empiece el siguiente paso. Si un enlace se estanca o descarta un paquete, todo el trabajo espera. Como la fabric transporta cada uno de esos intercambios, su latencia de cola, no su promedio, fija cuánto tarda un entrenamiento, y por eso la fabric se diseña para mantenerse sin pérdidas y cargada de forma pareja.
¿Necesito InfiniBand, o basta Ethernet para una fabric de IA?
Ethernet es hoy un transporte de primer nivel para AI fabric. RoCEv2 con PFC y ECN ofrece RDMA sin pérdidas sobre hardware estándar y multiproveedor, y Meta ha publicado un clúster de entrenamiento de 24.576 GPU construido sobre Ethernet. OcNOS-DC ya ejecuta ese fabric RoCEv2, e IP Infusion es miembro del Ultra Ethernet Consortium.

¿Construyendo una fabric de IA? Dimensionémosla juntos.

Díganos la escala de GPU y la carga de trabajo, y un ingeniero de IP Infusion hará los cálculos de topología y puertos con usted sobre hardware abierto Tomahawk 5 con OcNOS-DC.

Solicite una revisión de arquitectura Vea las topologías

Diseñe toda la fabric de IA con OcNOS

Desde el caso de negocio hasta los cálculos de recuento de puertos, retome donde esté en la construcción.

Solución Fabric de IA abierta La fabric de IA 800G completa: switches abiertos, OcNOS-DC y soporte bajo un solo contrato. Diseños de referencia Topologías de AI Fabric Fabrics rail-optimized de dos y tres niveles, y DCI coherente, dimensionados en cantidades reales de puertos. Dimensionar y construir Suite de diseño de fabric de IA Dimensione una fabric de GPU: recuentos de leaf, spine y super-spine con un resumen de componentes y potencia.
¿Nuevo en las AI fabrics? Empieza aquí ¿Qué es una AI fabric? ¿Qué es una GPU fabric? ¿Qué es Ethernet sin pérdidas? ¿Qué es RDMA? Switches de red para IA
La tecnología por dentro RoCEv2 sin pérdidas Red rail-optimized DLB GLB (7.1) Ultra Ethernet Tomahawk 6 a 1.6T DCQCN bloqueo por PFC InfiniBand frente a Ethernet RoCE frente a InfiniBand Arquitectura de fabric de IA DCI coherente

Profundice. Llévelo consigo.

Dos descargas breves y técnicas que van más allá de esta página: el datasheet completo de OcNOS-DC y la arquitectura de fabric de IA 800G sin pérdidas.

Datasheet

Datasheet de OcNOS-DC

Especificación completa de OcNOS-DC: el conjunto de funciones EVPN-VXLAN y Ethernet for AI, los SKU de software, las plataformas de hardware compatibles y la guía de pedido de la solución.

Obtener el datasheet
Solution brief

AI Fabric sin pérdidas de 800G con OcNOS

Fabric RoCEv2 sin pérdidas con spines Tomahawk 5: niveles de SKU, plataformas cualificadas y arquitectura de despliegue.

Obtener el brief