InfiniBand vs Ethernet per AI Fabric

Per la maggior parte dei collettivi di training distribuito su larga scala, sì. Ethernet presenta un limite inferiore di latenza superiore di alcune centinaia di nanosecondi rispetto a InfiniBand, ma tale valore resta al di sotto della soglia che incide sulla maggior parte dei carichi di lavoro, una volta configurato correttamente RoCEv2 con PFC, DCQCN e DLB.

Scegliete InfiniBand per le simulazioni HPC strettamente accoppiate, in cui il limite inferiore assoluto di latenza conta più del total cost of ownership, e per i cluster captive a singolo tenant in cui il lock-in di un unico fornitore è accettabile.

L'Ethernet prevale per il GPU-as-a-Service multitenant, per i cluster che condividono un unico modello operativo e gli stessi strumenti con il resto del data center, per i deployment di molte migliaia di GPU sensibili ai costi e per le fabric che si estendono tra data center tramite coherent DCI ed EVPN.

OcNOS-DC offre oggi il trasporto RoCEv2 lossless, il routing adattivo DLB e il watchdog anti-deadlock PFC, il GLB in 7.1 per lo scoring del percorso end-to-end e il supporto UEC man mano che le NIC vengono distribuite, il tutto su open hardware validato di fornitori come Edgecore e UfiSpace.

In gran parte sì, anche se InfiniBand non sta scomparendo. Secondo Dell'Oro Group, Ethernet ha superato InfiniBand nello switching AI back-end (scale-out) raggiungendo circa due terzi del mercato all'inizio del 2026, rispetto alla quota di InfiniBand di circa l'80 percento a fine 2023. Dell'Oro rileva anche una forte ripresa di InfiniBand con il ramp-up di NVIDIA Blackwell Ultra 800G, per cui rimane la scelta specialistica per l'HPC strettamente accoppiato. Meta ha descritto il training dei suoi modelli più grandi su un fabric Ethernet RoCE, su uno di due cluster da 24,576 GPU. L'Ultra Ethernet Consortium, i cui membri steering includono AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta, Microsoft e Oracle, standardizza questa direzione. Le ragioni sono operative ed economiche: un unico modello di rete condiviso con il resto del data center, una catena di fornitura multi-vendor e un costo per porta inferiore a 400G e 800G.

Ethernet con RoCEv2 è l'alternativa mainstream. Trasporta RDMA in modo lossless utilizzando PFC, ECN e DCQCN, aggiunge il routing adattivo tramite DLB e acquisisce packet spray e RDMA multi-path tramite Ultra Ethernet man mano che arrivano le NIC UEC. Su hardware aperto con OcNOS-DC, offre tutto questo su uno stack multi-vendor anziché su un fabric single-vendor.

Ultra Ethernet (UEC) porta all'Ethernet standard le tecniche di trasporto che hanno definito InfiniBand: packet spray su tutti i percorsi, RDMA multi-path, consegna out-of-order e ritrasmissione selettiva. La specifica UEC 1.0, pubblicata a giugno 2025, definisce questo trasporto. La differenza è l'ecosistema: InfiniBand è di fatto single-vendor per il silicio di NIC e switch, mentre Ultra Ethernet è una specifica aperta e multi-vendor su cui qualsiasi fornitore può sviluppare.

Il livello di switching rappresenta una quota modesta del costo totale di proprietà di un cluster AI, di solito una percentuale a una cifra nell'arco di cinque anni, sebbene il valore cresca una volta conteggiati NIC, ottiche e cablaggio. A parità di capacità, InfiniBand single-vendor comporta generalmente un sovrapprezzo rispetto all'Ethernet su hardware aperto con OcNOS-DC. La domanda più utile è cosa finanzia il capitale risparmiato, che si tratti di più GPU, un livello di storage più ampio o una seconda sede per la resilienza.