RoCEv2 · DLB · Ultra Ethernet

InfiniBand vs Ethernet per AI Fabric

Per la maggior parte dei fabric AI, Ethernet. Per l'HPC critico per la latenza, InfiniBand. L'Ethernet moderno con RoCEv2 gestisce oggi fabric di produzione a 400G e 800G su hardware aperto e multi-vendor, e OcNOS-DC lo rende disponibile già ora. Questa guida illustra dove ciascuno trova ancora spazio.

Due terziQuota Ethernet, scale-out AI
fino a 800Gfabric RoCEv2 di produzione
1 NOSOcNOS-DC su hardware aperto
600+reti operatore su OcNOS

Le stesse GPU, due reti molto diverse

A sinistra, un fabric InfiniBand a fornitore unico: un fornitore di silicio, una linea di switch, un ecosistema di NIC e un subnet manager separato dal resto del data center. A destra, un fabric Ethernet aperto multi-vendor: NIC RoCEv2 di qualsiasi fornitore, silicio switch Broadcom, OcNOS-DC come NOS e gli stessi protocolli che già usate.

Fabric InfiniBand single-vendor vs fabric Ethernet multi-vendor Due topologie di fabric affiancate. A sinistra: un fabric InfiniBand a fornitore unico con due switch IB e tre GPU. A destra: un fabric Ethernet multi-vendor con due spine OcNOS-DC e tre GPU con NIC RoCEv2. Le etichette in basso mettono a confronto uno stack a fornitore unico con uno stack aperto multi-vendor. INFINIBAND · UNICO FORNITORE ETHERNET · APERTO E MULTI-VENDOR Switch IB-1InfiniBand Switch IB-2InfiniBand GPUIB NIC GPUIB NIC GPUIB NIC NIC E SWITCH DELLO STESSO FORNITORE SUBNET MANAGER · MULTI-TENANCY LIMITATA Spine-1OcNOS-DC · TH5 Spine-2OcNOS-DC · TH5 GPURoCEv2 GPURoCEv2 GPURoCEv2 MULTI-VENDOR · HARDWARE APERTO RoCEv2 · DLB · EVPN-VXLAN · gNMI STACK DI UN UNICO FORNITORE vs STACK APERTO MULTI-VENDOR

InfiniBand ed Ethernet, asse per asse

InfiniBand è stato progettato appositamente per RDMA lossless a bassa latenza e per due decenni questo gli ha dato un vantaggio concreto per l'HPC strettamente accoppiato. L'Ethernet moderno, costruito sullo stack DCB, RoCEv2 e sempre più DLB e UEC, ha passato gli ultimi anni a colmare quel divario. Quali lacune contino ancora dipende dal carico di lavoro.

Aspetto InfiniBandunico fornitore EthernetRoCEv2 / UEC, aperto
Soglia minima di latenzaLatenza NIC-to-NIC end-to-end molto bassa; hop dello switch tipicamente di centinaia di nanosecondi.Floor più alto di IB di alcune centinaia di nanosecondi, ma ben al di sotto della soglia che incide sulla maggior parte dei collective di distributed-training su larga scala.
Tolleranza alla perditaLossless per architettura (flow control basato su credito).Lossless tramite PFC + ECN + DCQCN. Di livello produzione già oggi; UEC riduce ulteriormente la dipendenza dal pause PFC.
Multipath / bilanciamento del caricoRouting adattivo integrato nella specifica.ECMP statico, più DLB per il bilanciamento single-hop basato sulla congestione, GLB (OcNOS 7.1) per l'end-to-end, packet-spray UEC per la prossima generazione.
Ecosistema di vendorDi fatto single-vendor sia per il silicio NIC sia per quello degli switch.Multi-vendor a ogni livello: ASIC, switch, NIC, NOS, ottica. UEC è progettato esplicitamente per l'interoperabilità vendor-neutral.
Modello operativoSubnet manager. Diverso dal resto del DC. Competenze separate, tooling separato.Gli stessi BGP, EVPN, gNMI che già utilizza. Gli stessi strumenti di automazione (Ansible, NETCONF, OpenConfig) del resto del DC.
Multi-tenancyLimitato; il partizionamento esiste ma non è un concetto di prima classe.Di prima classe tramite EVPN-VXLAN. GPU-as-a-Service, cluster multi-team, infrastruttura condivisa: tutto naturale.
DCI a lunga distanzaNon progettato a tale scopo; richiede gateway IB-over-WAN.Nativo tramite pluggable coerenti 400G ZR/ZR+ ed EVPN inter-DC.
Convergenza dello storageLo storage gira accanto al compute; richiede storage IB-attached.NVMe-oF, NFS, S3 tutti sullo stesso fabric Ethernet.
Velocità della roadmapGuidato dalla cadenza di rilascio di un unico vendor.Il consorzio UEC, i cui membri spaziano tra aziende di silicio, NIC, switch e cloud, guida un'evoluzione della specifica pubblicata apertamente.

Dove ciascuno eccelle

La risposta giusta dipende dal carico di lavoro. Scegliete InfiniBand dove il requisito è un limite di latenza assoluto; scegliete Ethernet dove il modello operativo, il costo o la copertura tra più sedi guidano la decisione.

Scegliete InfiniBand quando

Il limite di latenza è contrattuale

Simulazioni HPC in cui il limite di latenza assoluto conta più del costo totale di proprietà, e cluster single-tenant compatti e dedicati in cui il lock-in è accettabile.

Scegliere Ethernet quando

Il modello operativo conta

GPU-as-a-Service multi-tenant e cluster che condividono l'infrastruttura con il resto del data center, dove vincono un unico modello operativo, un unico stack di strumenti e una catena di fornitura multi-vendor.

Scegliere Ethernet quando

Il costo per GPU-flop è il fattore decisivo

OcNOS-DC funziona su hardware aperto di più fornitori, quindi l'hardware di switching può essere acquistato in concorrenza.

Scegliere Ethernet quando

Il fabric si estende tra data center

Se una sessione di training dovrà mai attraversare due sale o due regioni, DCI coerente, EVPN inter-DC e ottiche standard multi-vendor estendono lo stesso fabric Ethernet tra i siti.

Cosa ha aggiunto l'Ethernet moderno

Tre sviluppi hanno portato i fabric AI di produzione su Ethernet: un comportamento realmente lossless, il bilanciamento del carico che tiene i flussi lontani dagli uplink congestionati e un trasporto di nuova generazione adatto al packet spray.

Comportamento lossless

RoCEv2 con PFC, DCQCN e il rilevamento e ripristino dei deadlock PFC fornisce il trasporto RDMA lossless di cui hanno bisogno le collettive AI, di livello produttivo già oggi su Ethernet standard.

Load balancing dinamico

Le collisioni ECMP statiche sui workload AI sono reali, ma DLB ridistribuisce i flowlet in base alla congestione locale, e GLB in OcNOS 7.1 estende questo al path scoring end-to-end.

Trasporto adatto al packet spray

Ultra Ethernet (UEC 1.0, giugno 2025) porta packet spray, RDMA multi-path e consegna out-of-order a Ethernet standard. Costruite ora su RoCEv2 e pianificate UEC man mano che arrivano le NIC compatibili UEC.

La rete è una voce di costo contenuta, quindi concentrate il confronto su ciò che libera

  • OcNOS-DC funziona su hardware aperto di più fornitori, quindi l'hardware di switching può essere acquistato in concorrenza.
  • Il capitale risparmiato finanzia più GPU, un livello di storage più ampio o una seconda sede per la resilienza.
  • Dove il fabric è multi-tenant o condiviso con il resto del data center, un unico modello di rete vale più della differenza di voce di costo.

Entrambi hanno un posto, e la maggior parte dei fabric AI appartiene a Ethernet

Ethernet non vince ogni carico di lavoro, ma il vantaggio operativo ed economico è decisivo per la maggior parte, e si rafforza man mano che il divario tecnico si chiude.

Entrambi hanno un posto

Ethernet non vince ogni carico di lavoro. I cluster HPC compatti con requisiti di latenza a limite assoluto continuano a favorire InfiniBand.

La maggior parte dei fabric AI appartiene a Ethernet

Il training e l'inferenza AI di produzione su scala hyperscale si stanno spostando su Ethernet man mano che il vantaggio operativo ed economico cresce e il divario tecnico continua a chiudersi.

OcNOS-DC è il percorso aperto

RoCEv2 e DLB oggi, GLB in OcNOS 7.1. Un unico NOS su hardware aperto validato di Edgecore, UfiSpace e altri.

InfiniBand vs Ethernet, le risposte

Ethernet è abbastanza veloce per l'addestramento AI rispetto a InfiniBand?
Per la maggior parte dei collettivi di training distribuito su larga scala, sì. Ethernet presenta un limite inferiore di latenza superiore di alcune centinaia di nanosecondi rispetto a InfiniBand, ma tale valore resta al di sotto della soglia che incide sulla maggior parte dei carichi di lavoro, una volta configurato correttamente RoCEv2 con PFC, DCQCN e DLB.
In quali casi conviene ancora scegliere InfiniBand?
Scegliete InfiniBand per le simulazioni HPC strettamente accoppiate, in cui il limite inferiore assoluto di latenza conta più del total cost of ownership, e per i cluster captive a singolo tenant in cui il lock-in di un unico fornitore è accettabile.
In quali casi Ethernet risulta vincente per una AI fabric?
L'Ethernet prevale per il GPU-as-a-Service multitenant, per i cluster che condividono un unico modello operativo e gli stessi strumenti con il resto del data center, per i deployment di molte migliaia di GPU sensibili ai costi e per le fabric che si estendono tra data center tramite coherent DCI ed EVPN.
In che modo OcNOS riduce il divario con InfiniBand?
OcNOS-DC offre oggi trasporto RoCEv2 lossless, bilanciamento dinamico del carico (DLB) e rilevamento e ripristino dei deadlock PFC, con GLB in 7.1 per la valutazione end-to-end dei percorsi, il tutto su hardware aperto validato di fornitori come Edgecore e UfiSpace.
Gli hyperscaler stanno sostituendo InfiniBand con Ethernet per l'AI?
In gran parte sì, anche se InfiniBand non scomparirà. Secondo Dell'Oro Group, Ethernet ha superato InfiniBand nello switching back-end AI (scale-out) e ha raggiunto circa due terzi del mercato all'inizio del 2026, rispetto alla quota di circa l'80 per cento di InfiniBand alla fine del 2023. Meta ha descritto l'addestramento dei suoi modelli più grandi su un fabric Ethernet RoCE in uno dei suoi due cluster da 24.576 GPU. L'Ultra Ethernet Consortium, i cui membri spaziano tra aziende di silicio, NIC, switch e cloud, standardizza questa direzione. Le ragioni sono operative ed economiche: un modello di rete condiviso con il resto del data center, una supply chain multi-vendor e un costo per porta inferiore a 400G e 800G.
Qual è la migliore alternativa a InfiniBand per il networking dei cluster AI?
Ethernet con RoCEv2 è l'alternativa più diffusa. Trasporta RDMA senza perdite con PFC, ECN e DCQCN e aggiunge il bilanciamento dinamico del carico (DLB), e OcNOS-DC lo offre su hardware aperto multi-vendor anziché su un fabric a fornitore unico. Ultra Ethernet (UEC) aggiunge packet spray e RDMA multipath su NIC compatibili UEC.
Qual è la differenza tra Ultra Ethernet e InfiniBand?
Ultra Ethernet (UEC) aggiunge all'Ethernet standard un trasporto progettato per AI e HPC: packet spray su tutti i percorsi, RDMA multi-path, consegna out-of-order e ritrasmissione selettiva. La specifica UEC 1.0, pubblicata a giugno 2025, definisce questo trasporto. La differenza è l'ecosistema: InfiniBand è di fatto single-vendor per il silicio di NIC e switch, mentre Ultra Ethernet è una specifica aperta e multi-vendor su cui qualsiasi fornitore può sviluppare.
Quanto costa un fabric AI Ethernet rispetto a InfiniBand?
OcNOS-DC funziona su hardware aperto di più fornitori, quindi l'hardware di switching può essere acquistato in concorrenza. La domanda più utile è cosa finanzia l'eventuale capitale risparmiato, che si tratti di più GPU, un livello di storage più ampio o una seconda sede per la resilienza. Contattate IP Infusion per i prezzi sulla vostra piattaforma.

State dimensionando il vostro prossimo cluster? Ottenete una valutazione specifica per il carico di lavoro

Indicateci il carico di lavoro e la scala di GPU e un ingegnere IP Infusion elaborerà i calcoli con voi, oppure iniziate con un primo layout leaf-spine nell'AI Fabric Design Suite.