InfiniBand vs Ethernet pour les fabrics IA
Pour la plupart des fabrics IA, Ethernet. Pour le HPC à latence critique, InfiniBand. L'Ethernet moderne avec RoCEv2 fait désormais tourner des fabrics de production à 400G et 800G sur du matériel ouvert et multi-fournisseur, et OcNOS-DC le fournit dès aujourd'hui. Ce guide explique où chacun garde sa place.
Les mêmes GPU, deux réseaux très différents
À gauche, un fabric InfiniBand à fournisseur unique : un fournisseur de silicium, une gamme de switchs, un écosystème de NIC et un gestionnaire de sous-réseau séparé du reste du centre de données. À droite, un fabric Ethernet ouvert multi-fournisseurs : des NIC RoCEv2 de n'importe quel fournisseur, du silicium de switch Broadcom, OcNOS-DC comme NOS et les mêmes protocoles que ceux que vous exploitez déjà.
InfiniBand et Ethernet, axe par axe
InfiniBand a été conçu spécifiquement pour du RDMA sans perte à faible latence, et pendant deux décennies cela lui a donné un réel avantage pour le HPC fortement couplé. L'Ethernet moderne, bâti sur la pile DCB, RoCEv2, et de plus en plus DLB et UEC, a passé ces dernières années à combler cet écart. Les écarts qui comptent encore dépendent de la charge de travail.
| Critère | InfiniBandmono-fournisseur | EthernetRoCEv2 / UEC, ouvert |
|---|---|---|
| Plancher de latence | Latence NIC-à-NIC de bout en bout très faible ; généralement quelques centaines de nanosecondes par saut de switch. | Plancher supérieur à l'IB de plusieurs centaines de nanosecondes, mais bien en deçà du seuil qui affecte la plupart des collectives d'entraînement distribué à grande échelle. |
| Tolérance aux pertes | Sans perte par architecture (contrôle de flux basé sur crédits). | Lossless via PFC + ECN + DCQCN. De niveau production dès aujourd'hui ; UEC réduit davantage la dépendance à la pause PFC. |
| Multi-chemin / répartition de charge | Routage adaptatif intégré à la spécification. | ECMP statique, plus DLB pour l'équilibrage à un seul saut tenant compte de la congestion, GLB (OcNOS 7.1) pour le bout en bout, et le packet-spray UEC pour la prochaine génération. |
| Écosystème de fournisseurs | Quasiment mono-fournisseur pour le silicon de NIC comme de commutateur. | Multi-fournisseur à chaque couche : ASIC, switch, NIC, NOS, optique. L'UEC est explicitement conçu pour une interopérabilité neutre vis-à-vis des fournisseurs. |
| Modèle opérationnel | Gestionnaire de subnet. Différent du reste du DC. Compétences distinctes, outillage distinct. | Les mêmes BGP, EVPN, gNMI que vous utilisez déjà. Les mêmes outils d'automatisation (Ansible, NETCONF, OpenConfig) que le reste du DC. |
| Multi-tenancy | Limité ; le partitionnement existe mais n'est pas un concept de premier ordre. | De première classe via EVPN-VXLAN. GPU-as-a-Service, clusters multi-équipes, infrastructure partagée, tout est naturel. |
| DCI longue distance | Non conçu pour cela ; nécessite des passerelles IB-over-WAN. | Nativement via les pluggables cohérents 400G ZR/ZR+ et l'EVPN inter-DC. |
| Convergence du stockage | Le stockage fonctionne aux côtés du calcul ; nécessite un stockage attaché en IB. | NVMe-oF, NFS, S3 sur une même fabric Ethernet. |
| Cadence de la roadmap | Dictée par la cadence de publication d'un seul fournisseur. | Le consortium UEC, dont les membres couvrent le silicium, les NIC, les switchs et le cloud, pilote une évolution de la spécification publiée ouvertement. |
Là où chacun excelle
La bonne réponse dépend de la charge de travail. Choisissez InfiniBand lorsqu'un plancher de latence absolu est l'exigence ; choisissez Ethernet lorsque le modèle d'exploitation, le coût ou la portée entre sites emporte la décision.
Le plancher de latence est contractuel
Simulation HPC où le plancher de latence absolu compte plus que le coût total de possession, et clusters mono-tenant captifs et serrés où le verrouillage fournisseur est acceptable.
Le modèle d'exploitation compte
GPU-as-a-Service multi-tenant et clusters qui partagent l'infrastructure avec le reste du data center, où un seul modèle d'exploitation, une seule pile d'outils et une chaîne d'approvisionnement multi-fournisseur l'emportent.
Le coût par GPU-flop est le facteur décisif
OcNOS-DC fonctionne sur du matériel ouvert de plusieurs fournisseurs, ce qui permet de mettre en concurrence l'achat du matériel de commutation.
La fabric s'étend sur plusieurs data centers
Si un entraînement doit un jour traverser deux salles ou deux régions, le DCI cohérent, l'EVPN inter-DC et l'optique standard multi-fournisseur étendent la même fabric Ethernet entre les sites.
Ce que l'Ethernet moderne a apporté
Trois avancées ont fait passer les fabrics IA de production sur Ethernet : un comportement réellement sans perte, un équilibrage de charge qui écarte les flux des liens montants congestionnés, et un transport de nouvelle génération compatible avec le packet spray.
Comportement sans perte
RoCEv2 avec PFC, DCQCN et la détection et reprise des deadlocks PFC fournit le transport RDMA sans perte dont les collectives IA ont besoin, de niveau production dès aujourd'hui sur Ethernet standard.
L'équilibrage de charge dynamique
Les collisions ECMP statiques sur les charges IA sont réelles, mais DLB redistribue les flowlets en cas de congestion locale, et GLB dans OcNOS 7.1 étend cela à une évaluation de chemin de bout en bout.
Transport compatible packet spray
Ultra Ethernet (UEC 1.0, juin 2025) apporte le packet spray, le RDMA multichemin et la livraison dans le désordre à l'Ethernet standard. Construisez dès maintenant sur RoCEv2 et planifiez UEC à mesure que les NIC compatibles UEC arrivent.
Le réseau est un petit poste de dépense, alors concentrez la comparaison sur ce qu'il libère
- OcNOS-DC fonctionne sur du matériel ouvert de plusieurs fournisseurs, ce qui permet de mettre en concurrence l'achat du matériel de commutation.
- Le capital économisé finance davantage de GPU, un palier de stockage plus important, ou un second site pour la résilience.
- Lorsque le fabric est multi-tenant ou partagé avec le reste du data center, un modèle réseau unique vaut plus que la différence de poste de dépense.
Les deux ont leur place, et la plupart des fabrics IA relèvent d'Ethernet
Ethernet ne l'emporte pas sur toutes les charges de travail, mais l'argument opérationnel et économique est décisif pour la plupart, et il se renforce à mesure que l'écart technique se comble.
Les deux ont leur place
Ethernet ne l'emporte pas sur toutes les charges de travail. Les clusters HPC serrés aux exigences de latence à plancher absolu privilégient encore InfiniBand.
La plupart des fabrics IA relèvent d'Ethernet
L'entraînement et l'inférence IA de production à l'échelle hyperscale migrent vers Ethernet à mesure que l'argument opérationnel et économique se renforce et que l'écart technique continue de se combler.
OcNOS-DC est la voie ouverte
RoCEv2 et DLB aujourd'hui, GLB dans OcNOS 7.1. Un seul NOS sur du matériel ouvert qualifié d'Edgecore, d'UfiSpace et d'autres.
InfiniBand vs Ethernet, les réponses
L'Ethernet est-il assez rapide pour l'entraînement d'AI face à InfiniBand ?
Dans quels cas convient-il encore de choisir InfiniBand ?
Dans quels cas Ethernet s'impose-t-il pour une AI fabric ?
Comment OcNOS comble-t-il l'écart avec InfiniBand ?
Les hyperscalers remplacent-ils InfiniBand par Ethernet pour l'IA ?
Quelle est la meilleure alternative à InfiniBand pour la mise en réseau de clusters IA ?
Quelle est la différence entre Ultra Ethernet et InfiniBand ?
Combien coûte un fabric IA Ethernet par rapport à InfiniBand ?
Approfondissez. Emportez-le avec vous.
La fiche technique du produit et des téléchargements techniques et concis qui vont plus loin que cette page.
Datasheet OcNOS-DC
Spécification complète OcNOS-DC : l'ensemble des fonctionnalités EVPN-VXLAN et Ethernet for AI, les SKU logiciels, les plateformes matérielles prises en charge et le guide de commande de la solution.
Obtenir la fiche techniqueOcNOS 800G Fabric IA sans perte
Fabric RoCEv2 sans perte sur des spines Tomahawk 5 : niveaux de SKU, plateformes qualifiées et architecture de déploiement.
Obtenir le briefFabric DC EVPN-VXLAN
Fabric de centre de données leaf-spine sur EVPN-VXLAN : une VRF et des VNI par locataire, multihoming EVPN, BGP unnumbered et filtrage par route target.
Obtenir le briefDatasheet OcNOS-DC
Formulaire rapide. Votre PDF s'ouvre dans un nouvel onglet immédiatement après l'envoi.
✓ Ouverture de votre PDF dans un nouvel onglet…
S'il ne s'est pas ouvert, utilisez le lien ci-dessous.
OcNOS 800G Fabric IA sans perte
Formulaire rapide. Votre PDF s'ouvre dans un nouvel onglet immédiatement après l'envoi.
✓ Ouverture de votre PDF dans un nouvel onglet…
S'il ne s'est pas ouvert, utilisez le lien ci-dessous.
Fabric DC EVPN-VXLAN
Formulaire rapide. Votre PDF s'ouvre dans un nouvel onglet immédiatement après l'envoi.
✓ Ouverture de votre PDF dans un nouvel onglet…
S'il ne s'est pas ouvert, utilisez le lien ci-dessous.
Vous dimensionnez votre prochain cluster ? Obtenez une analyse adaptée à votre charge de travail
Indiquez-nous la charge de travail et l'échelle GPU, et un ingénieur IP Infusion fera les calculs avec vous, ou commencez par un premier jet de topologie leaf-spine dans l'AI Fabric Design Suite.
Concevez tout le fabric IA avec OcNOS
Du dossier économique au calcul du nombre de ports, reprenez où vous en êtes dans la construction.