GPU Fabric とは何か。

GPU ファブリックとは、サーバーおよびポッドをまたいで GPU を相互接続し、単一のトレーニングまたは推論ジョブで協調動作させる back-end ネットワークです。コレクティブ操作中に GPU が交換する RDMA トラフィックを伝送し、管理およびストレージに用いる front-end ネットワークとは分離されています。実際には GPU ファブリックは、通常 rail 最適化され、ロスレス RoCEv2 を動作させる leaf-spine（Clos）Ethernet ネットワークです。OcNOS-DC は Broadcom Tomahawk 5 ハードウェア上でこれを提供します。

scale-up は、GPU サーバーおよびその密結合ドメイン内部の超広帯域インターコネクトであり、たとえば NVL72 ラック内の NVLink がこれにあたります。ここでは GPU が 1 つの大きなアクセラレータであるかのようにテラビット速度で通信します。scale-out はサーバーおよびポッド間のネットワークであり、本ページで説明する GPU ファブリックがこれにあたります。Ethernet 上に rail・leaf・spine・Clos の各階層で構築されます。コレクティブはまずドメイン内で scale-up を用い、続いてサーバー間の残りを scale-out GPU ファブリックが伝送します。

Most GPU fabrics use a rail-optimized leaf-spine design: each of a GPU server's 8 NICs connects to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf. As the cluster grows past a single pod, the design extends to a 3-stage Clos with a super-spine tier. radix-64 の Tomahawk 5 では、2 階層ファブリックが約 2,048 GPUs at 1:1 non-blocking and a 3-stage Clos scales to 16,000+ GPUs. See the rail-optimized network and AI fabric topologies pages.

はい、GPU プレーンにおいてはそうです。GPU は RoCEv2 上の RDMA でデータを移動しますが、これはパケットロス下では性能が低下するため、GPU ファブリックは Priority Flow Control と ECN によりロスレスに設計され、動的ロードバランシングにより負荷が均等に保たれます。このノードロップ動作こそがコレクティブの停止を防ぎます。OcNOS-DC は、まさにこのために Broadcom Tomahawk 5 上で PFC・ECN・Dynamic ECN・DLB を提供します。