Home · Documentazione · Tecnologia · InfiniBand vs Ethernet

InfiniBand vs Ethernet per AI Fabric

"Comprate semplicemente InfiniBand" era la risposta sicura per qualsiasi cluster GPU non banale, e quella risposta sta cambiando. L'Ethernet moderno (RoCEv2 con PFC, ECN/DCQCN, DLB e i futuri GLB e UEC) colma la maggior parte del divario prestazionale aprendo al contempo la porta multi-vendor e open-hardware che gli hyperscaler stanno attraversando.

Due fabric, due modelli operativi

A sinistra: un fabric InfiniBand single-vendor con un unico vendor di silicio IB, un unico set di switch, un unico ecosistema di NIC. A destra: un fabric Ethernet aperto multi-vendor con NIC RoCEv2 / UEC di qualsiasi vendor, silicio per switch Broadcom, OcNOS-DC come NOS e gli stessi protocolli del resto del vostro DC.

Fabric InfiniBand single-vendor vs fabric Ethernet multi-vendor Due topologie di fabric affiancate. Lato sinistro: fabric InfiniBand single-vendor con due switch IB e quattro GPU, tutti etichettati con un unico vendor. Lato destro: fabric Ethernet multi-vendor con due leaf che eseguono OcNOS-DC, due spine, quattro GPU con NIC RoCEv2/UEC vendor-neutral. Le etichette in basso contrappongono il lock-in single-vendor allo stack open multi-vendor. INFINIBAND · SINGLE-VENDOR ETHERNET · OPEN MULTI-VENDOR IB Switch-1Quantum-class IB Switch-2Quantum-class GPUIB NIC GPUIB NIC GPUIB NIC SINGLE NIC + SWITCH VENDOR · CLOSED ECOSYSTEM UFM / SHARP · SUBNET MANAGER · NO MULTI-TENANCY Spine-1OcNOS-DC · TH5 Spine-2OcNOS-DC · TH5 GPURoCEv2/UEC GPURoCEv2/UEC GPURoCEv2/UEC MULTI-VENDOR · OPEN HARDWARE · STANDARD PROTOCOLS RoCEv2 · DLB · GLB · UEC · EVPN-VXLAN · gNMI SINGLE-VENDOR PERFORMANCE TAX vs OPEN MULTI-VENDOR ECONOMICS

Come si confrontano

InfiniBand è stato progettato specificamente per RDMA a bassa latenza e lossless. Per due decenni, questo gli ha dato un reale vantaggio prestazionale per i carichi di lavoro HPC strettamente accoppiati. L'Ethernet moderno, costruito sullo stack DCB, su RoCEv2 e sempre più su DLB e UEC, ha trascorso gli ultimi anni a colmare quel divario. I divari residui contano per alcuni carichi di lavoro e non per altri. La risposta giusta è specifica per il carico di lavoro, non ideologica.

Axis InfiniBand Ethernet (RoCEv2 / UEC)
Latency floor Latenza NIC-to-NIC end-to-end molto bassa; hop dello switch tipicamente di centinaia di nanosecondi. Floor più alto di IB di alcune centinaia di nanosecondi, ma ben al di sotto della soglia che incide sulla maggior parte dei collective di distributed-training su larga scala.
Tolleranza alla perdita Lossless per architettura (flow control basato su credito). Lossless tramite PFC + ECN + DCQCN. Di livello produzione già oggi; UEC riduce ulteriormente la dipendenza dal pause PFC.
Multipath / bilanciamento del carico Routing adattivo integrato nella specifica. ECMP statico, più DLB per il single-hop adattivo, GLB (OcNOS 7.1) per l'end-to-end, packet-spray UEC per la prossima generazione.
Ecosistema di vendor Di fatto single-vendor sia per il silicio NIC sia per quello degli switch. Multi-vendor a ogni livello: ASIC, switch, NIC, NOS, ottica. UEC è progettato esplicitamente per l'interoperabilità vendor-neutral.
Modello operativo Subnet manager (classe UFM). Diverso dal resto del DC. Competenze separate, tooling separato. Gli stessi BGP, EVPN, gNMI che già utilizza. Gli stessi strumenti di automazione (Ansible, NETCONF, OpenConfig) del resto del DC.
Multi-tenancy Limitato; il partizionamento esiste ma non è un concetto di prima classe. Di prima classe tramite EVPN-VXLAN. GPU-as-a-Service, cluster multi-team, infrastruttura condivisa: tutto naturale.
Long-haul DCI Non progettato a tale scopo; richiede gateway IB-over-WAN. Nativo tramite pluggable coerenti 400G ZR/ZR+ ed EVPN inter-DC.
Convergenza dello storage Lo storage gira accanto al compute; richiede storage IB-attached. NVMe-oF, NFS, S3 tutti sullo stesso fabric Ethernet.
Costo / porta (tipico 400G+) Premium; prezzi single-vendor. Uno spine su hardware aperto + NOS OcNOS-DC batte in modo sostanziale le alternative vendor-locked.
Velocità della roadmap Guidato dalla cadenza di rilascio di un unico vendor. Il consorzio UEC (AMD, Arista, Broadcom, Cisco, HPE, Intel, Meta, Microsoft, Oracle …) guida l'evoluzione di una specifica pubblicata apertamente.

Dove ciascuno eccelle

Scelga InfiniBand quando

Il floor di latenza è contrattuale

Carichi di lavoro di simulazione HPC dove ogni-collettiva-conta e il floor di latenza assoluta conta più del costo totale di proprietà. Cluster single-tenant compatti e captive dove il lock-in è accettabile.

Scegliere Ethernet quando

Il modello operativo conta

GPU-as-a-Service multi-tenant. Cluster AI che condividono l'infrastruttura con il resto del DC. Tutto ciò in cui il team desidera un unico modello operativo, un unico stack di strumenti e una supply chain multi-vendor.

Scegliere Ethernet quando

Il costo per GPU-flop è il vincolo

Spine open-hardware + OcNOS-DC elimina la tassa di rete proprietaria. Su un cluster da molte migliaia di GPU, il capex risparmiato consente spesso di acquistare capacità GPU aggiuntiva.

Scegliere Ethernet quando

Il fabric si estende tra i DC

Se una sessione di training dovrà mai estendersi su due sale o due regioni, Ethernet si impone per impostazione predefinita: DCI coherent, EVPN inter-DC e ottiche standard multi-vendor rendono il tutto un problema da una giornata di lavoro anziché un progetto di line-system lungo un trimestre.

Dove l'Ethernet moderna ha colmato il divario

Comportamento lossless. RoCEv2 con PFC, DCQCN e l'OcNOS-DC watchdog deadlock PFC è di livello produzione oggi. La critica secondo cui "Ethernet perde pacchetti" cessa di essere rilevante una volta che questi sono configurati correttamente.

Routing adattivo. Le collisioni ECMP statiche sui workload AI sono reali, ma DLB riassegna i flowlet in caso di congestione locale in finestre sub-millisecondo, e GLB in OcNOS 7.1 estende tutto ciò a uno scoring del percorso completo end-to-end.

Trasporto adatto allo spray. Ultra Ethernet (UEC) porta packet spray, RDMA multi-path, consegna out-of-order e ritrasmissione selettiva all'Ethernet standard. I vantaggi architetturali che hanno definito InfiniBand stanno arrivando su uno stack aperto multi-vendor.

Il discorso sul TCO

Per la maggior parte delle decisioni sulle AI fabric in produzione nel 2026, la rete rappresenta il 5–8% del TCO del cluster su cinque anni. Il sovrapprezzo di InfiniBand si colloca tipicamente nell'intervallo dal +30% al +60% rispetto all'Ethernet su hardware aperto a parità di capacità. Su un cluster da 100M $ è una cifra significativa, ma il numero più importante è ciò che si può fare con il CapEx risparmiato (più GPU, un tier di storage più ampio, un secondo sito per l'HA). E per i cluster in cui la rete è multi-tenant o condivisa con il resto del DC, la semplificazione operativa di un unico modello di rete vale più della sua differenza di costo a voce di bilancio.

La visione di IP Infusion

  • Entrambi hanno un ruolo. Non intendiamo fingere che Ethernet vinca su ogni workload. I cluster HPC ad alta densità con requisiti di latenza al limite assoluto continueranno ad acquistare InfiniBand ancora per qualche tempo.
  • La maggior parte dei fabric AI è destinata a Ethernet. Il training e l'inferenza AI di produzione su scala hyperscale stanno migrando verso Ethernet, perché le ragioni operative ed economiche sono schiaccianti una volta che il divario tecnico si colma, e si sta colmando rapidamente.
  • OcNOS-DC è la via aperta. RoCEv2 oggi, DLB oggi, GLB in arrivo, UEC quando le NIC saranno disponibili. Un solo NOS, una sola feature roadmap, su hardware aperto validato di Edgecore, UfiSpace, Wedge e altri.
  • La revisione dell'architettura è gratuita. Se state dimensionando una fabric e desiderate un'analisi specifica per il vostro carico di lavoro anziché un discorso commerciale, i nostri architetti di rete eseguiranno i calcoli insieme a voi, oppure potete partire da una prima bozza di disposizione leaf-spine ottenuta dal Strumento di dimensionamento AI Fabric.
Fabric lossless RoCEv2 DLB: routing adattivo GLB: fabric-wide (7.1) Ultra Ethernet (UEC) Controllo della congestione DCQCN watchdog deadlock PFC Topologie AI fabric 400G ZR/ZR+ DCI Feature matrix OcNOS OcNOS-DC Soluzione AI fabric

Sta scegliendo IB o Ethernet per il Suo prossimo cluster? Facciamo i calcoli specifici per il Suo workload.

Prenoti una Architecture Review →
FAQ

Domande frequenti

Ethernet è abbastanza veloce per l'addestramento AI rispetto a InfiniBand?
Per la maggior parte dei collettivi di training distribuito su larga scala, sì. Ethernet presenta un limite inferiore di latenza superiore di alcune centinaia di nanosecondi rispetto a InfiniBand, ma tale valore resta al di sotto della soglia che incide sulla maggior parte dei carichi di lavoro, una volta configurato correttamente RoCEv2 con PFC, DCQCN e DLB.
In quali casi conviene ancora scegliere InfiniBand?
Scegliete InfiniBand per le simulazioni HPC strettamente accoppiate, in cui il limite inferiore assoluto di latenza conta più del total cost of ownership, e per i cluster captive a singolo tenant in cui il lock-in di un unico fornitore è accettabile.
In quali casi Ethernet risulta vincente per una AI fabric?
L'Ethernet prevale per il GPU-as-a-Service multitenant, per i cluster che condividono un unico modello operativo e gli stessi strumenti con il resto del data center, per i deployment di molte migliaia di GPU sensibili ai costi e per le fabric che si estendono tra data center tramite coherent DCI ed EVPN.
In che modo OcNOS riduce il divario con InfiniBand?
OcNOS-DC offre oggi il trasporto RoCEv2 lossless, il routing adattivo DLB e il watchdog anti-deadlock PFC, il GLB in 7.1 per lo scoring del percorso end-to-end e il supporto UEC man mano che le NIC vengono distribuite, il tutto su open hardware validato di fornitori come Edgecore e UfiSpace.
Schede soluzione

Approfondite. Portatelo con voi.

Due download tecnici e concisi che approfondiscono oltre questa pagina: l'architettura del fabric AI 800G lossless e il riferimento di data center EVPN-VXLAN.

Solution brief

OcNOS 800G Lossless AI Fabric

Fabric RoCEv2 non bloccante su spine Broadcom Tomahawk 4/5: tier di SKU, piattaforme validate e architettura di deployment.

Scarica il brief
Solution brief

EVPN-VXLAN data center fabric

Fabric di data center leaf-spine carrier-grade: IRB simmetrico, route Type-2/Type-5 e gateway anycast distribuito.

Scarica il brief