Le réseau de la neocloud : un fabric pour l'entraînement et l'inférence IA

Une neocloud est un fournisseur de cloud AI-first bâti autour d'un calcul GPU dense pour l'entraînement et l'inférence, plutôt qu'autour des services généralistes d'un hyperscaler classique. Les neoclouds se battent sur la performance brute des accélérateurs, la rapidité de mise à l'échelle et le coût, si bien que le réseau qui porte le trafic GPU est un élément central de l'économie, pas un détail.

Les deux sont déployés, et avec la montée en puissance du 800G l'industrie s'oriente vers Ethernet. Ethernet avec RoCEv2 porte le trafic collectif GPU sur du silicium marchand ouvert, de sorte qu'une neocloud obtient un AI fabric sans perte sans pile mono-fournisseur. OcNOS exécute la boîte à outils RoCEv2 complète, priority flow control, ECN et équilibrage de charge adaptatif, sur du matériel ouvert validé.

L'entraînement et l'inférence sont des charges opposées : l'entraînement est centralisé et gourmand en bande passante, l'inférence est distribuée, en rafales et critique en latence. Construire deux réseaux séparés double les coûts d'investissement et d'exploitation. Faire tourner les deux sur un seul fabric OcNOS avec un plan de contrôle permet à une neocloud de servir l'entraînement et chaque charge d'inférence depuis la même infrastructure, et c'est là que la marge opérationnelle s'améliore.

Certains opérateurs séparent l'entraînement et l'inférence à dessein, et pour de bonnes raisons : isolation stricte entre locataires, domaines opérationnels distincts pour des équipes différentes, une frontière de performance stricte ou une île InfiniBand existante qui porte déjà l'entraînement. OcNOS fonctionne dans les deux cas. L'essentiel est que la séparation soit un choix de conception délibéré, et non un coût que l'architecture vous impose. Lorsqu'une même équipe peut exécuter les deux charges sur un seul plan de contrôle, un fabric dimensionné et licencié par rôle est l'option par défaut qui protège la marge.

L'inférence se répartit sur de nombreux sites régionaux et en périphérie, monte et descend rapidement en charge et tient des objectifs de latence stricts, le réseau a donc besoin de capacité élastique, de redondance à chaque couche et de transport à faible latence entre les sites. IP Infusion couvre tout le chemin : le fabric de centre de données, le transport et l'IP over DWDM entre les sites, et IP Maestro pour l'assurance.

Une neocloud achète switches et logiciel selon des cycles indépendants auprès d'une chaîne d'approvisionnement multifournisseur, elle n'est donc liée à aucun fournisseur pour le matériel, le logiciel ou les délais. OcNOS sur des switches en silicium marchand ouvert porte l'AI fabric à un coût matériel inférieur à celui des plateformes propriétaires, et un seul fournisseur reste responsable du logiciel et du support sous un contrat unique.