Definición de redes · Escalado horizontal · RoCEv2

¿Qué es una fabric de GPU?

Una fabric de GPU es la red de back-end que interconecta las GPU entre servidores y pods para que puedan trabajar juntas en un solo trabajo de entrenamiento o inferencia. Transporta el tráfico RDMA que las GPU intercambian durante las operaciones colectivas, separado de la red de front-end usada para gestión y almacenamiento. Es la red de escalado horizontal que empieza donde termina el dominio de escalado vertical dentro del servidor, como NVLink, construida a partir de topologías rail-optimized y Clos que ejecutan RoCEv2 sin pérdidas, y OcNOS-DC la aporta sobre hardware Broadcom Tomahawk 5.

Solicite una revisión de arquitectura Vea las topologías
4.096 GPU2 niveles, sin bloqueo 1:1
Hasta 16.384 GPURail-optimized de 3 niveles
51,2 TbpsTomahawk 5 · 64x800G
1 NOSOcNOS-DC sobre hardware abierto

El escalado vertical termina, el horizontal empieza

Una fabric de GPU se sitúa a un lado de una frontera clara. Dentro de un servidor, el dominio de escalado vertical corre a velocidades de terabits; entre servidores, la fabric de GPU de escalado horizontal transporta el resto. Un colectivo usa primero el escalado vertical dentro del dominio, luego esta fabric transporta el tráfico entre servidores.

Dentro del servidor

Dominio de escalado vertical

La interconexión de muy alto ancho de banda dentro de un servidor GPU y su dominio estrechamente acoplado, por ejemplo NVLink dentro de un rack NVL72. Aquí las GPU se comunican como si fueran un único acelerador grande. Esta no es la fabric de GPU.

Entre servidores

Fabric de GPU de escalado horizontal

La red Ethernet entre servidores y pods a través de niveles de rail, leaf, spine y Clos. Esta es la fabric de GPU. Como el scale-up lleva primero los datos al rail de destino, este plano transporta sobre todo tráfico del mismo rail y entre pods, y por eso aquí en concreto merece la pena invertir en 1:1 sin bloqueo.

Rails y Clos

La mayoría de los fabrics de GPU son redes leaf-spine rail-optimized: cada una de las 8 NIC de un servidor GPU se conecta a su propio leaf de rail dedicado, de modo que el tráfico AllReduce dominante del mismo rail permanece en un solo leaf y nunca cruza el spine. Más allá de un solo pod de 4.096 GPU, el mismo diseño rail-optimized añade un nivel super-spine.

Leaves rail-optimized

Cada una de las 8 NICs de un servidor se mapea a su propio rail leaf, manteniendo el tráfico dominante de AllReduce del mismo rail en un leaf y fuera del spine.

Red rail-optimized

Escala de tres niveles

En Tomahawk 5, un fabric de 2 niveles alcanza 4.096 GPU a 800G por GPU, 1:1 sin bloqueo; por encima de eso, un tercer nivel escala hasta 16.384 GPU.

Topologías de AI fabric

Transporte RoCEv2 sin pérdidas

El plano de GPU transporta RDMA sobre RoCEv2, diseñado sin pérdidas de modo que un colectivo nunca se estanca por un paquete descartado.

Tejido sin pérdidas RoCEv2

RoCEv2 sin pérdidas, y OcNOS-DC lo ofrece

Las GPU mueven datos con RDMA sobre RoCEv2, que rinde mal bajo pérdida de paquetes. Por eso la fabric de GPU se diseña sin pérdidas y se mantiene cargada de forma pareja, de modo que ningún enlace se convierte en un punto caliente durante un colectivo. OcNOS-DC suministra exactamente esto sobre Broadcom Tomahawk 5, como habilitador para hardware abierto y multiproveedor.

  • Diseñada sin pérdidas con Priority Flow Control (incluido sobre L3) y ECN, de modo que un paso de entrenamiento nunca se estanca por un paquete descartado.
  • Mantenida cargada de forma pareja con DLB, de modo que ningún enlace se convierte en un punto caliente durante un colectivo.
  • Entregada por OcNOS-DC sobre plataformas Broadcom Tomahawk 5 (51.2 Tbps, 64x800G) como el Edgecore AIS800-64D y el UfiSpace S9321-64E.

Preguntas frecuentes sobre qué es una fabric de GPU

¿Qué es una GPU fabric?
Una fabric de GPU es la red de back-end que interconecta las GPU entre servidores y pods para que puedan trabajar juntas en un solo trabajo de entrenamiento o inferencia. Transporta el tráfico RDMA que las GPU intercambian durante las operaciones colectivas, y está separada de la red de front-end usada para gestión y almacenamiento. En la práctica una fabric de GPU es una red Ethernet leaf-spine (Clos), normalmente rail-optimized, que ejecuta RoCEv2 sin pérdidas. OcNOS-DC la aporta sobre hardware Broadcom Tomahawk 5.
¿Cuál es la diferencia entre escalado vertical y horizontal?
El escalado vertical es la interconexión de muy alto ancho de banda dentro de un servidor GPU y su dominio estrechamente acoplado, por ejemplo NVLink dentro de un rack NVL72, donde las GPU se comunican a velocidades de terabits como si fueran un solo gran acelerador. El escalado horizontal es la red entre servidores y pods, la fabric de GPU que describe esta página, construida a partir de niveles de rail, leaf, spine y Clos sobre Ethernet. Un colectivo usa primero el escalado vertical dentro del dominio, luego la fabric de GPU de escalado horizontal transporta el resto entre servidores.
¿Qué topología usa una fabric de GPU?
Most GPU fabrics use a rail-optimized leaf-spine design: each of a GPU server's 8 NICs connects to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf. As the cluster grows past a single pod, the same rail-optimized design adds a super-spine tier. On Tomahawk 5, a 2-tier fabric reaches 4,096 GPUs a 800G por GPU, 1:1 sin bloqueo; por encima de eso, un tercer nivel escala hasta 16,384 GPUs. See the rail-optimized network and AI fabric topologies pages.
¿Tiene que ser sin pérdidas una fabric de GPU?
Sí, en el plano de GPU. Las GPU mueven datos con RDMA sobre RoCEv2, que rinde mal bajo pérdida de paquetes, de modo que la fabric de GPU se diseña sin pérdidas con Priority Flow Control y ECN, y se mantiene cargada de forma pareja con balanceo de carga dinámico. Ese comportamiento sin descartes es lo que evita que un colectivo se estanque. OcNOS-DC suministra PFC, ECN, Dynamic ECN y DLB sobre Broadcom Tomahawk 5 para exactamente esto.

Profundice. Llévelo consigo.

Dos descargas breves y técnicas que van más allá de esta página: el datasheet completo de OcNOS-DC y la arquitectura de fabric de IA 800G sin pérdidas.

Datasheet

Datasheet de OcNOS-DC

Especificación completa de OcNOS-DC: el conjunto de funciones EVPN-VXLAN y Ethernet for AI, los SKU de software, las plataformas de hardware compatibles y la guía de pedido de la solución.

Obtener el datasheet
Solution brief

AI Fabric sin pérdidas de 800G con OcNOS

Fabric RoCEv2 sin bloqueo sobre spines Broadcom Tomahawk 4/5: niveles de SKU, plataformas validadas y arquitectura de despliegue.

Obtener el brief

¿Levantando una fabric de GPU? Dimensionemos el plano juntos.

Díganos el recuento de GPU y la carga de trabajo, y un ingeniero de IP Infusion hará los cálculos de puertos con usted, o empiece desde un primer trazado rail-optimized en el AI Fabric Design Suite.

Solicite una revisión de arquitectura Abrir la suite de diseño de AI fabric

Diseñe toda la fabric de IA con OcNOS

Desde el caso de negocio hasta los cálculos de recuento de puertos, retome donde esté en la construcción.

Solución Fabric de IA abierta La fabric de IA 800G completa: switches abiertos, OcNOS-DC y soporte bajo un solo contrato. Diseños de referencia Topologías de AI Fabric Fabrics rail-optimized de dos y tres niveles, y DCI coherente, dimensionados en cantidades reales de puertos. Dimensionar y construir Suite de diseño de fabric de IA Dimensione una fabric de GPU: recuentos de leaf, spine y super-spine con un resumen de componentes y potencia.
¿Nuevo en las AI fabrics? Empieza aquí ¿Qué es una AI fabric? ¿Qué es una GPU fabric? ¿Qué es Ethernet sin pérdidas? ¿Qué es RDMA? Switches de red para IA
La tecnología por dentro RoCEv2 sin pérdidas Red rail-optimized DLB GLB (7.1) Ultra Ethernet Tomahawk 6 a 1.6T DCQCN bloqueo por PFC InfiniBand frente a Ethernet RoCE frente a InfiniBand Arquitectura de fabric de IA DCI coherente