Fabrics Ethernet sin pérdidas de 800G para clústeres de GPU

IP Infusion entrega el AI fabric completo: OcNOS-DC precargado en switches cualificados de 800G y 400G, con RoCEv2 sin pérdidas, balanceo de carga dinámico y detección y recuperación de bloqueos PFC, bajo un único contrato de soporte. Usted sigue eligiendo sus NIC, GPU y proveedores de switches.

600+operadores utilizan OcNOS
60+países
40+plataformas calificadas
AI fabric rail-optimized, vista en vivoDos spines Tomahawk 5 conectan cuatro leaves de rail. Cada servidor GPU envía una NIC a cada leaf de rail. El tráfico del mismo rail permanece en su leaf; el tráfico entre rails cruza un spine.SpinesLeaves de railServidores GPUTomahawk 5 · 800G
Cada NIC de GPU va por su propio rail. El tráfico del mismo rail permanece en su leaf; el tráfico entre rails cruza un spine.

Lo que un fabric de GPU debe resolver

Un AI fabric es la red Ethernet que conecta los servidores GPU. Debe transportar tráfico RoCEv2 sin pérdidas y mantener ocupado cada enlace, porque un solo paquete descartado detiene un colectivo mientras la NIC lo reenvía, y un solo enlace congestionado retrasa el trabajo de entrenamiento.

Tres patrones de tráfico detienen los trabajos de entrenamiento. OcNOS-DC tiene una solución para cada uno.

El mismo tráfico, los mismos cuatro uplinks. Lo que cambia es cómo se colocan los flujos.

Uplink 1
Uplink 2
Uplink 3
Uplink 4

ECMP estático fija cada flujo grande a un uplink mediante hash, de modo que dos uplinks se saturan mientras dos quedan casi inactivos.

Ilustrativo.

Todas las GPU transmiten a la vez
ECMP estático fija los flujos grandes a un solo uplink, de modo que algunos enlaces se saturan mientras otros quedan inactivos.
→ DLB mueve los flujos de los uplinks congestionados a rutas menos cargadas.
Cómo funciona DLB →
Las ráfagas llegan a un solo puerto
Muchos emisores llegan a un mismo puerto en cuestión de microsegundos.
→ Marcado ECN indica a las NIC compatibles con DCQCN que reduzcan la velocidad antes de que se llenen los buffers.
→ Recuperación de interbloqueos PFC libera automáticamente una cola atascada.
Cómo funciona DCQCN →
Un solo descarte detiene el trabajo
La NIC tiene que reenviar los datos perdidos, así que un solo descarte detiene el colectivo.
→ PFC y ECN mantienen el tráfico RoCEv2 sin pérdidas.
Cómo funciona RoCEv2 →

GLB, que llegará en OcNOS 7.1, equilibrará la carga en todo el fabric. Acerca de GLB →

Cada NIC de GPU en su propio rail

Cada servidor GPU conecta una NIC a cada uno de los ocho leaves de rail. El AllReduce del mismo rail permanece en su leaf; solo el tráfico entre rails llega a los spines Tomahawk 5 de 800G. Los pods escalan sobre los mismos switches.

Topología de fabric de IA rail-optimized: cuatro spines Tomahawk 5 de 800G sobre ocho leaves de rail, con cuatro servidores GPU que asignan cada una de sus ocho NIC a un leaf de rail distinto, de modo que el AllReduce dentro del rail permanece en un solo leaf.
Pod único rail-optimized: las 8 NIC de cada servidor GPU se asignan una por rail a 8 leaves dedicados, de modo que el AllReduce del mismo rail permanece en el leaf y solo el tráfico entre rails llega al spine.

El diseño de referencia desarrolla un fabric rail-optimized de 1.024 GPU: topología, cantidad de switches, enlaces, ópticas y cableado según el alcance.

Obtenga el AI Fabric Reference Design Ver las topologías de referencia →

Resumen técnico

Lo que OcNOS-DC ejecuta en el fabric. Siga un enlace para el análisis técnico.

Resumen técnico del AI fabric OcNOS-DC
Área OcNOS-DC Análisis técnico
Transporte sin pérdidas RoCEv2 con PFC por prioridad, marcado ECN y ETS. PFC sobre L3 a través de fronteras enrutadas. RoCEv2 →
Control de congestión Marcado ECN para NIC compatibles con DCQCN, con Dynamic ECN en Tomahawk 5. Ajuste del buffer de paquetes del switch. DCQCN →
Balanceo de carga Equilibrado de carga dinámico (DLB) en Tomahawk 4 y 5, con hash RoCEv2 por QP de destino, y Reactive Path Rebalance en Tomahawk 5. GLB, que llegará en OcNOS 7.1, lo extiende a todo el fabric. DLB →
Protección contra interbloqueos Detección y recuperación de interbloqueos PFC. Interbloqueo PFC →
Configuración de servidores DCBX envía la configuración sin pérdidas a los servidores.
Telemetría Streaming gNMI sobre modelos OpenConfig: on-change, dial-in y dial-out. Telemetría →
Automatización ZTP sobre IPv4 e IPv6. Playbooks de Ansible desde Day 0 hasta Day 2. IP Maestro sobre NETCONF. Automatización →
Topologías Rail-only, rail-optimized de dos niveles y rail-optimized de tres niveles. Topologías →
Escala Dos niveles hasta 4.096 GPU a 800G por GPU en Tomahawk 5. Tres niveles hasta 16.384 GPU. Dimensionamiento →
Ultra Ethernet IP Infusion es miembro del Ultra Ethernet Consortium. UEC →

Dimensiónelo según su número de GPU

Elija un tamaño de clúster y vea el fabric que requiere. Luego dimensione el suyo en el Design Suite, con una lista de materiales.

1.024 GPU

32
leaves
16
spines
48
switches

Dos niveles

Diseños de referencia rail-optimized en Tomahawk 5, 1:1 sin bloqueo.

Abrir el AI Fabric Design Suite Solicite una revisión de arquitectura

Switches validados de 800G y 400G

Spines Tomahawk 5 y leaves Tomahawk 4 de Edgecore y UfiSpace.

Switch spine de 800G Edgecore AIS800-64D

Edgecore AIS800-64D

64 x 800G · 51.2 Tbps

QSFP-DD800 · breakout a 2x400G / 4x200G / 8x100G

Spine · Tomahawk 5
Datasheet →
Switch spine de 800G UfiSpace S9321-64E

UfiSpace S9321-64E

64 x 800G · 51.2 Tbps

QSFP-DD800 · breakout a 2x400G / 4x200G / 8x100G

Spine · Tomahawk 5
Datasheet →
Switch leaf de 400G Edgecore AS9736-64D

Edgecore AS9736-64D

64 x 400G · 25.6 Tbps

QSFP56-DD 400G · breakout a 4x100G / 4x25G · DAC / AOC

Leaf · Tomahawk 4
Datasheet →

Ver las más de 40 plataformas calificadas →

Un sistema, un contrato

Una sola vía de soporte

OcNOS-DC precargado y calificado por modelo de switch y stepping de ASIC. Un solo PO, un único contrato de soporte, una única vía de RMA. Respuesta P1 desde 8 horas (Standard) hasta 30 minutos (Enterprise).

Ver detalles de soporte

Una consola para toda la flota

IP Maestro gestiona la topología, las fallas, la configuración y las imágenes de software mediante NETCONF, por debajo de su OSS.

Explorar IP Maestro

Ópticas con interoperabilidad multiproveedor comprobada

Las ópticas de varios proveedores tienen interoperabilidad comprobada. Pídanos la lista de transceivers para su proyecto.

Solicitar la lista de transceivers

Lleve el diseño a su equipo

PDF breves. Un formulario rápido y comienza la descarga.

AI fabric sin pérdidas de 800G

Niveles de SKU, plataformas validadas y arquitectura de despliegue.

Obtener el brief

Datasheet de OcNOS-DC

Conjunto de funciones, SKU de software y hardware compatible.

Obtener el datasheet

Preguntas frecuentes

¿Es OcNOS-DC realmente "AI-native" o solo RoCEv2 con extras?
OcNOS-DC implementa los mecanismos del lado del switch de los que dependen las cargas de IA: RoCEv2 sin pérdidas con PFC y ECN, Dynamic ECN en Tomahawk 5, equilibrado de carga dinámico (DLB), ajuste de buffers del switch, y detección y recuperación de interbloqueos PFC. La lógica de colectivos (xCCL), la parte NIC del control de congestión como DCQCN y la planificación de trabajos se ejecutan en la NIC y en el planificador del clúster, fuera del switch.
¿Dónde termina OcNOS-DC y dónde toman el relevo la NIC y el scheduler del clúster?
OcNOS-DC se encarga del lado del switch: PFC y ECN para RoCEv2 sin pérdidas, equilibrado de carga dinámico, recuperación de interbloqueos PFC y telemetría en streaming gNMI. La NIC se encarga de la biblioteca de colectivos (xCCL) y del endpoint RDMA. El planificador del clúster ubica los trabajos y puede usar la telemetría del switch. Esa separación le permite cambiar de NIC, GPU y orquestación.
¿Cómo se compara OcNOS AI Fabric con NVIDIA Spectrum-X, SONiC, Arista, Cisco o DriveNets?
OcNOS-DC ofrece el AI fabric completo: switches abiertos validados y OcNOS-DC, entregados como OcNOS Systems bajo un único contrato de soporte, de la misma familia OcNOS que opera redes de proveedores de servicios. Funciona sobre silicio Broadcom con RoCEv2 sin pérdidas (PFC y ECN), equilibrado de carga dinámico con Reactive Path Rebalance en Tomahawk 5, recuperación de interbloqueos PFC y un portal de soporte 24/7 en los niveles Premium y Enterprise, sin dependencia de NIC, GPU ni hardware. Las demás opciones difieren en cómo obtienen y dan soporte a la NIC, el switch y el software; las distribuciones de código abierto comunitarias dejan la integración y el soporte en manos del operador.
¿Qué supone Ultra Ethernet (UEC) 1.0 para OcNOS AI Fabric?
OcNOS-DC ejecuta hoy en producción RoCEv2 sin pérdidas con PFC y ECN, y equilibrado de carga dinámico, e IP Infusion es miembro del Ultra Ethernet Consortium (UEC). UEC 1.0 define un transporte Ethernet multirruta que reparte un flujo entre muchas rutas en lugar de fijarlo a un solo hash ECMP, con ese comportamiento de extremo ejecutándose en NIC compatibles con UEC. Para planificar cómo encaja UEC en un proyecto concreto, hable con un ingeniero de IP Infusion y consulte el Análisis técnico de Ultra Ethernet.
¿Cómo mantiene OcNOS-DC el fabric sin pérdidas y qué lo protege contra el interbloqueo PFC?
Tres mecanismos: PFC pausa el tráfico por prioridad antes de que los buffers se desborden, ECN marca los paquetes de forma temprana para frenar a los emisores, y ETS mantiene los flujos RDMA por delante del tráfico de menor prioridad. Además, la detección y recuperación de interbloqueos PFC localiza un interbloqueo de pausa y lo elimina antes de que los trabajos se bloqueen, de modo que un puerto detenido se recupera sin reinicio manual. PFC sobre L3 es compatible a través de fronteras enrutadas.
¿Qué es DLB y qué cambia con GLB en OcNOS 7.1?
Durante AllReduce, sus flujos más grandes colisionan cuando el ECMP estándar fija cada uno a un solo uplink durante toda su vida, y la sincronización espera al enlace saturado. DLB ya mueve hoy los flujos de los uplinks congestionados a rutas menos cargadas en el salto local, y Tomahawk 5 añade Reactive Path Rebalance. GLB, que llegará en OcNOS 7.1, extiende el equilibrado de carga a todo el fabric para grandes clústeres de varios miles de GPU.
¿Qué hardware de switch y qué óptica 800G admite el AI fabric de OcNOS?
El fabric funciona sobre switches Broadcom Tomahawk 4 y 5 validados de Edgecore y UfiSpace. Los spines de 800G (Edgecore AIS800-64D y UfiSpace S9321-64E, Tomahawk 5, 64 x 800G QSFP-DD800, 51,2 Tbps) admiten breakout a 400G, 200G y 100G; el leaf de 400G (Edgecore AS9736-64D, Tomahawk 4, 64 x 400G QSFP56-DD, 25,6 Tbps con buffer integrado en el chip) admite breakout a 100G y 25G. Las ópticas tienen interoperabilidad probada con varios proveedores, así que contáctenos para obtener la lista de transceptores para su proyecto. Las plataformas de switching figuran en la HCL.
¿Quién proporciona el soporte del AI fabric y el hardware también está cubierto?
Cuando el fabric se adquiere como OcNOS Systems, un solo contrato con IP Infusion cubre conjuntamente el software OcNOS-DC y el hardware de switch validado, de modo que hay un solo TAC y un solo SLA. El soporte se ofrece por niveles: Standard incluye TAC por correo electrónico, teléfono en horario laboral y coordinación de RMA de hardware con respuesta P1 en 8 horas; Premium añade un portal de soporte al cliente 24/7 y respuesta P1 en 2 horas; Enterprise añade respuesta P1 en 30 minutos y un Customer Success Manager. El portal 24/7 está disponible en Premium y Enterprise.

Plan your GPU fabric with our engineers

Bring your design questions to an IP Infusion engineer, or take the reference design to your team.

Solicite una revisión de arquitectura Obtenga el AI Fabric Reference Design

Diseñe toda la fabric de IA con OcNOS

Desde el caso de negocio hasta los cálculos de recuento de puertos, retome donde esté en la construcción.

Usted está aquí Fabric de IA abierta La fabric de IA 800G completa: switches abiertos, OcNOS-DC y soporte bajo un solo contrato.
Diseños de referencia Topologías de AI Fabric Fabrics rail-optimized de dos y tres niveles, y DCI coherente, dimensionados en cantidades reales de puertos. Dimensionar y construir Suite de diseño de fabric de IA Dimensione una fabric de GPU: recuentos de leaf, spine y super-spine con un resumen de componentes y potencia.
¿Nuevo en las AI fabrics? Empieza aquí ¿Qué es una AI fabric? ¿Qué es una GPU fabric? ¿Qué es Ethernet sin pérdidas? ¿Qué es RDMA? Switches de red para IA
La tecnología por dentro RoCEv2 sin pérdidas Red rail-optimized DLB GLB (7.1) Ultra Ethernet Tomahawk 6 a 1.6T DCQCN bloqueo por PFC InfiniBand frente a Ethernet RoCE frente a InfiniBand Arquitectura de fabric de IA DCI coherente