InfiniBand vs Ethernet pour les fabrics IA

Pour la plupart des collectifs d'entraînement distribué à grande échelle, oui. Ethernet présente un plancher de latence supérieur de plusieurs centaines de nanosecondes à celui d'InfiniBand, mais cela reste en deçà du seuil affectant la plupart des charges de travail dès lors que RoCEv2 avec PFC, DCQCN et DLB est correctement configuré.

Optez pour InfiniBand dans les simulations HPC étroitement couplées, où le plancher absolu de latence prime sur le total cost of ownership, ainsi que pour les clusters captifs mono-locataire où le lock-in mono-fournisseur est acceptable.

L'Ethernet s'impose pour le GPU-as-a-Service multilocataire, pour les clusters qui partagent un même modèle d'exploitation et un même outillage avec le reste du data center, pour les déploiements de plusieurs milliers de GPU sensibles aux coûts, et pour les fabrics s'étendant d'un data center à l'autre via coherent DCI et EVPN.

OcNOS-DC fournit dès aujourd'hui le transport RoCEv2 lossless, le routage adaptatif DLB et le watchdog anti-deadlock PFC, le GLB en 7.1 pour le scoring de chemin de bout en bout, et la prise en charge d'UEC à mesure que les NIC sont livrés, le tout sur de l'open hardware validé issu de fournisseurs tels qu'Edgecore et UfiSpace.

En grande partie oui, même si InfiniBand ne disparaît pas. Selon le Dell'Oro Group, Ethernet a dépassé InfiniBand dans la commutation back-end (scale-out) de l'IA et a atteint environ deux tiers du marché début 2026, contre une part d'environ 80 pour cent pour InfiniBand fin 2023. Dell'Oro note également un net rebond d'InfiniBand avec la montée en puissance du NVIDIA Blackwell Ultra 800G, si bien qu'il reste le choix spécialisé pour le HPC fortement couplé. Meta a décrit l'entraînement de ses plus grands modèles sur un fabric Ethernet RoCE, sur l'un de deux clusters de 24,576 GPU. L'Ultra Ethernet Consortium, dont les membres du comité de pilotage incluent AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta, Microsoft et Oracle, normalise cette orientation. Les raisons sont opérationnelles et économiques : un modèle réseau unique partagé avec le reste du data center, une chaîne d'approvisionnement multi-fournisseur, et un coût par port plus faible à 400G et 800G.

L'Ethernet avec RoCEv2 est l'alternative courante. Il transporte le RDMA sans perte à l'aide de PFC, ECN et DCQCN, ajoute le routage adaptatif via DLB, et gagne le packet spray et le RDMA multichemin via Ultra Ethernet à mesure que les NIC UEC arrivent. Sur du matériel ouvert exécutant OcNOS-DC, il assure cela sur une pile multi-fournisseur plutôt que sur un fabric mono-fournisseur.

Ultra Ethernet (UEC) apporte à l'Ethernet standard les techniques de transport qui ont défini InfiniBand : packet spray sur tous les chemins, RDMA multichemin, livraison dans le désordre et retransmission sélective. La spécification UEC 1.0, publiée en juin 2025, définit ce transport. La différence tient à l'écosystème : InfiniBand est de fait mono-fournisseur pour le silicon des NIC et des commutateurs, tandis qu'Ultra Ethernet est une spécification ouverte et multi-fournisseur que tout fournisseur peut implémenter.

La couche de commutation représente une part modeste du coût total de possession d'un cluster IA, généralement un pourcentage à un chiffre sur cinq ans, même si ce chiffre augmente une fois les NIC, l'optique et le câblage comptabilisés. À capacité équivalente, l'InfiniBand mono-fournisseur comporte généralement une surprime par rapport à l'Ethernet en matériel ouvert exécutant OcNOS-DC. La question la plus utile est de savoir ce que finance le capital économisé, qu'il s'agisse de davantage de GPU, d'un palier de stockage plus important ou d'un second site pour la résilience.