Réseaux pour les opérateurs neocloud et de cloud GPU

IP Infusion fournit les réseaux sur lesquels repose un cloud GPU : OcNOS-DC sur des commutateurs qualifiés pour la fabric GPU sans perte, le réseau de stockage, le front-end des locataires et la gestion hors bande, avec un seul contrat de support.

64 × 800Gsur les commutateurs Tomahawk 5 de la fabric GPU
16 384GPU dans la plus grande architecture de référence
900+opérateurs utilisent OcNOS

Un serveur GPU, quatre réseaux

Un cloud GPU relie chaque serveur à quatre réseaux : la fabric back-end GPU, le stockage, le front-end des locataires et la gestion. OcNOS-DC fonctionne sur les quatre, si bien qu'une seule équipe peut exploiter une seule famille logicielle sur l'ensemble du cloud.

Choisissez un réseau pour voir ce qu'il transporte

Un serveur GPU se connecte à quatre réseaux : la fabric back-end GPU, le stockage, le front-end des locataires et la gestion hors bande Spine Spine Leaf de rail Leaf de rail Fabric back-end GPU Leaf de stockage Stockage Locataires Leaf front-end Front-end locataires Gestion Hors bande, 1G Serveur GPU NIC GPU NIC stockage NIC front-end BMC

Back-end GPU. Les opérations collectives GPU s'exécutent sur leur propre fabric routée. PFC et ECN sur la couche 3 maintiennent le trafic RoCEv2 sans perte, et l'équilibrage de charge dynamique déplace les flowlets vers les uplinks les moins chargés. Les commutateurs Tomahawk 5 offrent 64 × 800G.

Illustration.

L'entraînement et l'inférence n'attendent pas la même chose du réseau

Les neoclouds servent les deux. L'entraînement remplit quelques grands clusters avec un trafic régulier et synchronisé. Le trafic d'inférence s'étend sur de nombreux sites et arrive par rafales.

Entraînement et inférence comparés, selon les métriques réseau qui façonnent le fabric.
Ce que voit le réseau Entraînementl'usine d'IA Inférencele service en temps réel
EmpreinteQuelques grands clusters GPUDe nombreux sites régionaux et en périphérie
TraficTrafic collectif GPU à GPU massif et synchroniséPetites requêtes sensibles à la latence
Profil de chargeUtilisation GPU soutenue et quasi totale sur de longues duréesEn rafales et élastique, avec des pics en quelques secondes
Le réseau doit êtreSans perte sous une bande passante soutenueFaible latence et redondance à chaque couche

Ce qu'OcNOS-DC fournit dans un cloud GPU

Les fonctionnalités sur lesquelles repose chaque réseau, d'après la Feature Matrix OcNOS.

CapacitéCe qu'il faitDisponible sur
PFC et ECN sur couche 3RoCEv2 sans perte sur une fabric routée, avec ETS entre classes de traficTous OcNOS-DC
L'équilibrage de charge dynamiqueDéplace les flowlets vers les uplinks moins chargésCertains commutateurs
détection et reprise des deadlocks PFCDétecte une file de priorité bloquée et la rétablitCertains commutateurs
EVPN-VXLANEVPN de couche 2 sur VXLAN, avec une VRF et des VNI par locataireTrident 3 et 4
Limites locatairesLimites MAC par locataire et filtrage par route targetCertains commutateurs
PFC et ECN sur VXLANTrafic de stockage sans perte sur une fabric EVPN-VXLANCertains commutateurs
MLAG et multihoming EVPNMLAG en mode actif/actif ; EVPN en mode single-active ou port-activeCertains commutateurs
Optique cohérente dans le commutateurLiaisons 400G et 800G ZR et OpenZR+ entre sitesCertains commutateurs
VRF de gestion et ZTPGestion hors bande et provisioning zero-touchTous OcNOS-DC

La prise en charge varie selon le modèle de commutateur et la licence. Consultez la Feature Matrix OcNOS.

Commutateurs par réseau

Chaque réseau utilise un commutateur adapté à son trafic, tous sous OcNOS-DC.

Edgecore AIS800-64D switch

Spine et leaf de la fabric GPU

Edgecore AIS800-64D

Tomahawk 5 · 51.2 Tbps

64 × 800G

Edgecore AS9736-64D switch

Leaf de rail GPU 400G

Edgecore AS9736-64D

Tomahawk 4 · 25.6 Tbps

64 × 400G

UfiSpace S9300-32D switch

Leaf front-end et stockage

UfiSpace S9300-32D

Trident 4 · 12.8 Tbps

32 × 400G

UfiSpace S6301-56ST switch

Gestion hors bande

UfiSpace S6301-56ST

Trident 3 · 120 Gbps

48 × 1G, 8 × 10G

OcNOS on open switches carries the AI fabric at 40 to 60% lower hardware cost par rapport aux plateformes propriétaires à débits de port et radix comparables. Découvrez le fonctionnement de la fabric IA sans perte. Consultez la liste complète des commutateurs qualifiés dans la Hardware Compatibility List OcNOS.

Questions sur le réseau neocloud.

De quel réseau les fournisseurs neocloud et de cloud GPU ont-ils besoin pour l'IA ?
Quatre réseaux : une fabric back-end routée et sans perte pour les opérations collectives GPU, un réseau de stockage, un réseau front-end par lequel les clients accèdent à leurs GPU, et la gestion hors bande. OcNOS-DC fait fonctionner les quatre sur des commutateurs qualifiés.
Une seule plateforme peut-elle prendre en charge à la fois l'entraînement et l'inférence IA ?
Oui. La même famille OcNOS-DC fait fonctionner la fabric GPU sans perte dont l'entraînement a besoin ainsi que les réseaux front-end et de stockage qu'utilise l'inférence, si bien qu'une seule équipe exploite une seule pile logicielle sur l'ensemble du cloud. Les commutateurs sont dimensionnés selon leur rôle.
Comment les clouds GPU maintiennent-ils l'isolation entre leurs clients ?
Sur le réseau front-end, EVPN-VXLAN attribue à chaque locataire sa propre VRF et ses propres VNI, avec des limites MAC par locataire et un filtrage par route target. Ces fonctionnalités s'exécutent sur les commutateurs Trident 3 et Trident 4 ; la prise en charge varie selon le modèle de commutateur, consultez donc la Feature Matrix OcNOS.
Comment la fabric maintient-elle l'inférence disponible en cas de panne d'un lien ou d'un commutateur ?
BFD détecte les pannes de lien, et BGP ECMP bascule le trafic sur les chemins restants. MLAG connecte les serveurs à une paire de commutateurs en mode actif/actif. Sur les leaves front-end EVPN-VXLAN, le multihoming EVPN en mode single-active ou port-active connecte les serveurs à deux leaves.
Comment évaluer les fournisseurs réseau pour l'entraînement et l'inférence IA ?
Vérifiez que chaque commutateur est qualifié pour le logiciel que vous prévoyez d'utiliser, pour chaque modèle et chaque stepping d'ASIC. Confirmez que les fonctionnalités dont vous avez besoin sont listées pour ce commutateur, et déterminez qui assure le support du commutateur et du logiciel. IP Infusion publie une Feature Matrix OcNOS pour chaque plateforme et assure le support du commutateur et du logiciel dans un seul contrat.
Comment un neocloud relie-t-il ses sites ?
Les commutateurs OcNOS-DC pris en charge acceptent l'optique cohérente dans leurs ports : 400G ZR et OpenZR+ sur les AS9736-64D, AS9726-32DB et S9300-32D ; 800G ZR et OpenZR+ sur les AIS800-64D et S9321-64E. Pour les liaisons plus longues, voir IP over DWDM sur les routeurs OcNOS-SP.

Planifiez votre réseau de cloud GPU.

Indiquez-nous votre nombre de GPU, vos locataires et vos sites. Un ingénieur IP Infusion associera chaque réseau à des commutateurs qualifiés.