Rete per la neocloud: un fabric per training e inferenza IA

Una neocloud è un provider cloud AI-first costruito attorno a un denso calcolo GPU per training e inferenza, anziché sui servizi generici di un hyperscaler tradizionale. Le neocloud competono su prestazioni pure degli acceleratori, velocità di scalata e costo, quindi la rete che trasporta il traffico GPU è un elemento centrale dell'economia, non un ripensamento.

Entrambi vengono impiegati e, con l'arrivo dei 800G, l'industria si sta orientando verso Ethernet. Ethernet con RoCEv2 trasporta il traffico collettivo GPU su silicio merchant aperto, così una neocloud ottiene un AI fabric lossless senza uno stack di un solo fornitore. OcNOS esegue l'intero toolkit RoCEv2, priority flow control, ECN e bilanciamento del carico adattivo, su hardware aperto validato.

Training e inferenza sono workload opposti: il training è centralizzato e avido di banda, l'inferenza è distribuita, a raffiche e critica per la latenza. Costruire due reti separate duplica i costi di capitale e operativi. Eseguire entrambe su un solo fabric OcNOS con un control plane consente a una neocloud di servire il training e ogni workload di inferenza dalla stessa infrastruttura, ed è lì che il margine operativo migliora.

Alcuni operatori separano training e inferenza di proposito, e per buone ragioni: isolamento rigoroso tra tenant, domini operativi distinti per team diversi, un confine di prestazioni netto o un'isola InfiniBand esistente che già gestisce il training. OcNOS funziona in entrambi i casi. Il punto è che la separazione deve essere una scelta progettuale deliberata, non un costo che l'architettura ti impone. Quando un solo team può eseguire entrambi i carichi su un unico control plane, un fabric dimensionato e licenziato per ruolo è la scelta predefinita che protegge il margine.

L'inferenza si distribuisce su molte sedi regionali ed edge, scala rapidamente in su e in giù e mantiene obiettivi di latenza stretti, quindi la rete ha bisogno di capacità elastica, ridondanza a ogni livello e trasporto a bassa latenza tra le sedi. IP Infusion copre l'intero percorso: il fabric di data center, il trasporto e l'IP over DWDM tra le sedi, e IP Maestro per l'assurance.

Una neocloud acquista switch e software su cicli indipendenti da una supply chain multi-fornitore, quindi non è legata a un fornitore per hardware, software o tempi di consegna. OcNOS su switch in silicio merchant aperto sostiene l'AI fabric con un costo hardware inferiore rispetto alle piattaforme proprietarie, e un solo fornitore resta responsabile di software e supporto sotto un unico contratto.