Strumento di progettazione dell'AI fabric
Progettate end-to-end un fabric GPU RoCEv2 non bloccante, in modo neutrale rispetto al fornitore. Dimensionate gli switch leaf e spine, pianificate il numero di transceiver e cavi, confrontate InfiniBand ed Ethernet per il vostro cluster e ottenete un profilo di congestione lossless. Questo strumento progetta unicamente la rete. Non costituisce una stima dei costi né una distinta base.
Dimensiona la fabric GPU
Scegliete una dimensione di partenza oppure inserite il vostro numero di GPU, la velocità di porta e il silicio di switching. Lo strumento dimensiona un pod leaf-spine a due livelli ripiegato e segnala quando un cluster passa alla scala a tre livelli.
…
Questi conteggi presuppongono una leaf-spine (Clos) fabric ripiegata con una fabric NIC per GPU, in cui ogni leaf ripartisce le proprie porte tra le GPU e gli uplink verso gli spine. Un cablaggio rail-optimized (più NIC per GPU) modifica la località del traffico, non questi conteggi di switch. Vedere il Progetti di riferimento della topologia AI fabric per i layout rail-optimized e a tre livelli.
Riepilogo dei componenti
Quantità di collegamenti fabric, transceiver e cavi per il design dimensionato. Sono cifre di sola pianificazione, non una distinta base, un preventivo o un listino.
| Component | Basis | Quantity |
|---|---|---|
| Link lato GPU | GPUs × 1 NIC | … |
| Collegamenti fabric da leaf a spine | leaves × uplinks | … |
| Transceiver fabric | links × 2 ends | … |
| Cavi di fabric | 1 per collegamento | … |
Il mezzo in base alla portata, da scegliere secondo il cablaggio: fino a 3 m con DAC o AEC, fino a 50-100 m con AOC o SR, fino a 500 m con DR (la soluzione di riferimento), fino a 2 km con FR. Solo classi di portata. Nessun prezzo, SKU o codice fornitore. In un progetto a tre livelli, aggiungere i collegamenti da spine a super-spine oltre ai valori sopra riportati.
InfiniBand vs Ethernet
Una scorecard neutrale rispetto al fornitore, articolata su sei fattori. Mostra, in base ai vostri dati, verso quale direzione pende ciascun fattore e perché. Per scelta progettuale, qui non esiste un vincitore unico. Utilizzatela come elemento di input per una revisione progettuale, non come raccomandazione finale.
| Factor | InfiniBand | Ethernet / RoCEv2 | Ultra Ethernet (trajectory) |
|---|---|---|---|
| Prestazioni di piccoorientato a InfiniBand | Un vantaggio di throughput grezzo intorno al quindici per cento con un ridotto sforzo di tuning, oltre alla riduzione in-network SHARP che scarica le operazioni collettive dalle GPU. | Eguaglia InfiniBand con un'adeguata ottimizzazione. Un cluster di addestramento RoCEv2 da 24.000 GPU ha operato in esercizio a parità di prestazioni. Il divario riguarda lo sforzo di ottimizzazione, non il limite massimo. | Aggiunge packet spray e riordino lato NIC per ridurre la latenza di coda e diminuire la dipendenza dal PFC, riducendo il divario immediato. |
| Costorientato a Ethernet | Comporta un sovrapprezzo significativo su scala di fabric, comunemente indicato in un intervallo dal 30 al 60 per cento rispetto a un Ethernet comparabile. | Gli switch merchant-silicon e un'ampia catena di approvvigionamento di ottiche la rendono in genere la fabric a costo per porta più basso. | La stessa economia di merchant silicon aperto di Ethernet. |
| Aperturaorientato a Ethernet | Stack a fornitore unico end to end (switch, NIC, manager), pertanto l'approvvigionamento multi-fornitore è limitato. | Aperto e multifornitore: switch, NIC e NOS basati su standard da molti fornitori, preservando la flessibilità della catena di approvvigionamento. | Standard di consorzio industriale (UEC 1.0, 2025) che rafforza l'orientamento aperto. |
| Semplicità operativaneutral | UFM fornisce un unico fabric manager dedicato, chiavi in mano per i team privi di personale con competenze RDMA approfondite. | Sfrutta l'ampio bacino di competenze Ethernet e il tooling standard, ma un RoCEv2 senza perdite richiede un tuning end-to-end accurato. | Mira a ridurre l'onere di ottimizzazione, avvicinando Ethernet a un comportamento pronto all'uso simile a quello di IB. |
| Multi-tenancy e convergenzaorientato a Ethernet | Tipicamente un'isola back-end dedicata, priva di isolamento multi-tenant nativo o di convergenza dello storage. | Un'unica fabric Ethernet convergente può trasportare il traffico back-end, di storage e front-end con un isolamento dei tenant standard. | Estende l'orientamento converged-Ethernet su un'unica fabric aperta. |
| Trajectoryorientato a Ethernet | Maturo e stabile, con prestazioni di primo piano a fronte di un tuning ridotto, ma vincolato alla roadmap di un unico fornitore. | Ethernet è passata a guidare i deployment di back-end AI entro la metà del 2025, con un ampio slancio dell'ecosistema. | UEC 1.0 (2025) è una specifica multi-fornitore esplicitamente orientata alle back-end fabric AI e HPC. |
Presupposti: le prestazioni sono confrontate dopo l'ottimizzazione (l'Ethernet non ottimizzato resta indietro, l'Ethernet ben ottimizzato raggiunge la parità); il costo è espresso come intervallo, mai come cifra monetaria; l'apertura indica un approvvigionamento multi-fornitore, non un giudizio di qualità; Ultra Ethernet riflette una direzione dal 2025 in poi, non un prodotto disponibile. L'ottimizzazione collettiva fa riferimento in modo generico alle librerie xCCL. Queste indicazioni supportano la decisione; validate la scelta di una fabric con un ingegnere IP Infusion.
Profilo lossless RoCEv2
RoCEv2 non è una singola funzionalità di commutatore. È un profilo composto da PFC, ECN ed ETS, in cui DCQCN svolge il lavoro a regime e PFC funge da rete di sicurezza. Questo strumento raccomanda i meccanismi e l'ordine in cui applicarli per la vostra progettazione. Non emette valori di soglia e non interviene su alcun dispositivo.
| Mechanism | Ruolo nel profilo lossless | Disponibilità di OcNOS |
|---|---|---|
| PFC | Garanzia no-drop per la classe RoCE. Rete di sicurezza di ultima istanza, non il controllo primario. | Tutte e 4 le piattaforme AI |
| ECN | Segnala la congestione in anticipo così che i mittenti riducano la velocità prima che le code trabocchino. Regolate il punto di marcatura al di sotto del trigger PFC. | Tutte e 4 le piattaforme AI |
| DCQCN (ECN + PFC) | Controllo principale in regime stazionario. La marcatura ECN guida la reazione DCQCN a livello delle NIC; il PFC funge da rinforzo. Un meccanismo composto, non una funzione a sé stante. | Tutte e 4 le piattaforme AI |
| ETS | Garanzie di banda e isolamento di classe affinché la classe lossless non venga penalizzata dal traffico best-effort. | Tutte e 4 le piattaforme AI |
| Watchdog anti-deadlock PFC | Rileva e interrompe condizioni di deadlock o storm delle pause PFC: la rete di sicurezza del backstop PFC. | Tutti e 4, OcNOS 7.0 |
| DLB (bilanciamento del carico dinamico) | Distribuisce i flussi RoCE elephant che collidono con un ECMP statico. Porta l'utilizzazione della fabric da circa il 55 per cento verso il 90 per cento e oltre. | Tutte e 4 le piattaforme AI |
| ECN dinamico | Adatta la marcatura ECN alle condizioni di coda in tempo reale, riducendo la ritaratura manuale al variare del carico. | solo TH5, OcNOS 7.0 |
| DLB reattivo / casuale | Modalità avanzate di posizionamento DLB per una distribuzione dei flussi più stretta. Su TH4, utilizzate il DLB standard. | solo TH5, OcNOS 7.0 |
| GLB (Global Load Balancing) | Bilanciamento del carico a livello di fabric, oltre le decisioni DLB locali. | Roadmap, train OcNOS 7.1 |
| Ultra Ethernet | Packet spray con riordinamento lato NIC e ridotta dipendenza dal PFC, la traiettoria verso l'Ethernet AI lossless. | Roadmap, profilo UEC |
Solo a scopo indicativo. Queste raccomandazioni non vengono inviate ad alcun dispositivo e qui non viene generato alcun valore di soglia. La disponibilità è conforme a OcNOS-DC. Matrice funzionalità e Elenco di compatibilità hardware. Convalidare rispetto alle piattaforme selezionate e alla versione di OcNOS prima del deployment.
Consumo della fabric
Un intervallo di potenza tipico per i commutatori della fabric nel progetto dimensionato. Solo intervalli, con ottiche installate. I commutatori di rete rappresentano solo una piccola parte della potenza totale del cluster; sono le GPU a predominare.
Raffreddamento: il raffreddamento a porta posteriore o a liquido diretto viene generalmente preso in considerazione oltre circa 30-40 kW per rack, in funzione della densità dei server GPU e non della rete. Si tratta di un'indicazione, non di un carico termico calcolato. Gli intervalli di potenza degli switch sono valori tipici per apparati di classe 51,2T (Tomahawk 5) e 25,6T (Tomahawk 4) con ottiche installate; confermate i valori esatti sulla scheda tecnica di ciascuna piattaforma.
Piattaforme OcNOS-DC corrispondenti
La fabric esegue un'unica immagine OcNOS-DC su hardware aperto Broadcom Tomahawk. Queste sono le piattaforme 800G e 400G supportate su cui viene progettata.
Questo strumento fornisce una stima strutturale di progettazione della rete a soli fini di pianificazione. Non costituisce una garanzia di prestazioni, una distinta base o una stima dei costi. I progetti reali dipendono dall'ottimizzazione dei rail, dal numero di NIC per GPU, dal cablaggio e dalle scelte sul dominio di guasto. I numeri di GPU sono limiti massimi di progettazione di riferimento derivati dal calcolo del radix Clos, non valori misurati. Broadcom e Tomahawk sono marchi di Broadcom Inc.; gli altri nomi sono marchi dei rispettivi titolari.
Design di riferimento per AI fabric
Scaricate il PDF del design di riferimento: topologia, numero di switch, riepilogo dei componenti e un profilo iniziale RoCEv2 lossless.
Design di riferimento per AI fabric
Modulo breve: il PDF verrà scaricato subito dopo l'invio.
✓ Apertura del suo PDF in una nuova scheda…
Se non si è aperto, utilizzi il link qui sotto.
AI Fabric Reference Design (PDF)