RDMA · RoCEv2 · Ethernet sin pérdidas

¿Qué es RDMA?

RDMA (Remote Direct Memory Access) permite que una máquina lea o escriba la memoria de otra máquina directamente por la red, evitando tanto las CPU como el sistema operativo. El adaptador de red mueve los bytes directamente entre la memoria de aplicación de ambos extremos, de modo que la latencia es muy baja y la sobrecarga de CPU es casi nula. Sobre Ethernet, RoCEv2 transporta RDMA para que pueda enrutarse, y como RDMA asume que no hay paquetes descartados corre sobre una fabric sin pérdidas.

Solicite una revisión de arquitectura Vea RoCEv2 en detalle
Copia cerokernel bypass, de adaptador a adaptador
Casi nulasobrecarga de CPU en la ruta de datos
UDP 4791encapsulación RoCEv2, enrutable
Sin pérdidasOcNOS-DC sobre Broadcom TH5

Zero-copy, bypass de CPU, y por qué ese es el punto

Una transferencia de red normal copia los datos a través del kernel y se apoya en la CPU en ambos extremos. RDMA elimina ambos. El adaptador lee directamente de la memoria de aplicación en el emisor y escribe directamente en la memoria de aplicación en el receptor, sin que nada atraviese la CPU en la ruta de datos. Eso es lo que ofrece la combinación de muy baja latencia, muy alto rendimiento y casi ningún coste de CPU de RDMA, y es por lo que RDMA se convirtió en el estándar para la comunicación GPU a GPU.

  • Copia cero: los bytes se mueven directamente entre la memoria de aplicación de ambos extremos, sin pasar nunca por búferes intermedios del kernel.
  • Bypass del kernel: el adaptador de red, no el sistema operativo, dirige la transferencia, de modo que la CPU queda fuera de la ruta de datos.
  • Sobrecarga casi nula: la CPU queda libre para ejecutar la carga de trabajo en lugar de barajar paquetes, lo que es decisivo a escala de GPU.

Cómo transporta RoCEv2 RDMA sobre Ethernet

RoCEv2 (RDMA over Converged Ethernet, versión 2) encapsula RDMA en UDP e IP, usando el puerto UDP de destino 4791, de modo que puede enrutarse a través de una fabric Ethernet de capa 3 estándar sin necesidad de una red aparte. La operación RDMA sigue corriendo de adaptador a adaptador con el mismo comportamiento zero-copy; RoCEv2 simplemente le da una ruta Ethernet enrutable. Eso es lo que permite que una fabric Ethernet multiproveedor sustituya a InfiniBand en los clústeres de GPU.

Transporte enrutable

RDMA circula dentro de UDP e IP en el puerto 4791, de modo que cruza un centro de datos enrutado estándar en lugar de necesitar una fabric dedicada.

Tejido sin pérdidas RoCEv2

Red sin descartes

RDMA asume que la red nunca descarta un paquete, así que corre sobre una fabric sin pérdidas con PFC y ECN manteniendo cada salto sin descartes.

Ethernet sin pérdidas

La fabric de IA

Este transporte es el fundamento de una fabric de IA: la red de GPU a GPU que transporta cada operación colectiva durante el entrenamiento.

Qué es una fabric de IA

Por qué los colectivos de IA dependen de RDMA, y por qué la fabric debe ser sin pérdidas

El entrenamiento de IA ejecuta operaciones colectivas como AllReduce: tras cada paso, los gradientes de cada GPU se combinan entre todas las GPU, y luego todas esperan a ese intercambio antes del siguiente paso. Los volúmenes de datos son grandes y el calendario es ajustado, así que RDMA mantiene cada intercambio rápido y fuera de la CPU. Como un único paquete perdido fuerza una recuperación que dispara la latencia de cola y puede estancar todo el colectivo, RDMA sobre Ethernet suele correr sobre una fabric sin pérdidas.

  • Los colectivos bloquean cada GPU hasta que el intercambio se completa, de modo que una menor latencia acorta el paso que todo el clúster está esperando.
  • RDMA mantiene el intercambio fuera de la CPU y libre de copias, lo que multiplicado por millones de pasos es una palanca directa sobre el tiempo total de entrenamiento.
  • OcNOS-DC suministra la fabric sin descartes con PFC, ECN y balanceo de carga dinámico sobre Broadcom Tomahawk 5, manteniendo los flujos fuera de los enlaces calientes.

Qué es RDMA, respondido

¿Qué es RDMA?
RDMA significa Remote Direct Memory Access. Permite que una máquina lea o escriba directamente en la memoria de otra máquina a través de la red, sin intervención de la CPU de ninguna de ellas y sin copiar los datos a través del kernel del sistema operativo. El adaptador de red mueve los bytes directamente entre la memoria de las aplicaciones de ambos extremos. El resultado es una latencia muy baja y un caudal muy alto, casi sin carga de CPU, y por eso RDMA es el método estándar con el que las GPU intercambian datos durante el entrenamiento de IA.
¿Cómo transporta RoCEv2 RDMA sobre Ethernet?
RoCEv2 (RDMA over Converged Ethernet, versión 2) encapsula RDMA en UDP e IP, usando el puerto UDP de destino 4791, de modo que RDMA puede enrutarse a través de un centro de datos Ethernet de capa 3 estándar en lugar de necesitar una red aparte. La operación RDMA sigue corriendo de adaptador a adaptador con el mismo comportamiento zero-copy y de bypass de CPU; RoCEv2 solo le da una ruta Ethernet enrutable. Esto es lo que convierte a una fabric Ethernet multiproveedor en una alternativa viable a InfiniBand para los clústeres de GPU.
¿Por qué importan el zero-copy y el bypass de CPU para IA?
AI training runs collective operations such as AllReduce, where the gradients from every GPU are combined across all GPUs after each step, moving enormous amounts of data on a tight schedule. If the CPU had to copy every message through the kernel, it would become the bottleneck and burn power doing it. RDMA removes the CPU and the copies from the data path, so a GPU's data lands in the peer GPU's memory with minimal latency, which shortens the exchange every GPU is waiting on.
¿Por qué necesita RDMA una fabric sin pérdidas?
RDMA fue diseñado asumiendo que la red no descarta paquetes. Cuando un paquete se pierde, la recuperación es costosa y dispara la latencia de cola, lo que puede estancar todo un colectivo de GPU. Así que RDMA sobre Ethernet corre sobre una fabric sin pérdidas: el Priority Flow Control y ECN mantienen la red sin descartes. OcNOS-DC aporta esa fabric con PFC, ECN y balanceo de carga dinámico sobre hardware Broadcom Tomahawk 5. Vea las páginas de Ethernet sin pérdidas y RoCEv2 para el detalle.

¿Diseñando una fabric RDMA? Construyámosla sin pérdidas

Díganos la carga de trabajo y la escala de GPU, y un ingeniero de IP Infusion recorrerá el diseño de RoCEv2 y de fabric sin pérdidas con usted sobre hardware abierto con OcNOS-DC.

Solicite una revisión de arquitectura Explorar OcNOS-DC

Diseñe toda la fabric de IA con OcNOS

Desde el caso de negocio hasta los cálculos de recuento de puertos, retome donde esté en la construcción.

Solución Fabric de IA abierta La fabric de IA 800G completa: switches abiertos, OcNOS-DC y soporte bajo un solo contrato. Diseños de referencia Topologías de AI Fabric Fabrics rail-optimized de dos y tres niveles, y DCI coherente, dimensionados en cantidades reales de puertos. Dimensionar y construir Suite de diseño de fabric de IA Dimensione una fabric de GPU: recuentos de leaf, spine y super-spine con un resumen de componentes y potencia.
¿Nuevo en las AI fabrics? Empieza aquí ¿Qué es una AI fabric? ¿Qué es una GPU fabric? ¿Qué es Ethernet sin pérdidas? ¿Qué es RDMA? Switches de red para IA
La tecnología por dentro RoCEv2 sin pérdidas Red rail-optimized DLB GLB (7.1) Ultra Ethernet Tomahawk 6 a 1.6T DCQCN bloqueo por PFC InfiniBand frente a Ethernet RoCE frente a InfiniBand Arquitectura de fabric de IA DCI coherente

Profundice. Llévelo consigo.

Dos descargas breves y técnicas que van más allá de esta página: el datasheet completo de OcNOS-DC y la arquitectura de fabric de IA 800G sin pérdidas.

Datasheet

Datasheet de OcNOS-DC

Especificación completa de OcNOS-DC: el conjunto de funciones EVPN-VXLAN y Ethernet for AI, los SKU de software, las plataformas de hardware compatibles y la guía de pedido de la solución.

Obtener el datasheet
Solution brief

AI Fabric sin pérdidas de 800G con OcNOS

Fabric RoCEv2 sin bloqueo sobre spines Broadcom Tomahawk 4/5: niveles de SKU, plataformas validadas y arquitectura de despliegue.

Obtener el brief