什麼是 GPU Fabric？

GPU fabric 是跨伺服器與 pod 互連 GPU 的後端網路，讓它們能共同處理單一訓練或推論作業。它承載 GPU 在集合作業期間交換的 RDMA 流量，並與用於管理和儲存的前端網路分開。實務上，GPU fabric 是一個通常經 rail-optimized 的 leaf-spine（Clos）乙太網路，運行無損 RoCEv2。OcNOS-DC 在 Broadcom Tomahawk 5 硬體上提供它。

Scale-up 是 GPU 伺服器內部及其緊密耦合域的極高頻寬互連，例如 NVL72 機架內的 NVLink，其中 GPU 以 terabit 速度溝通，宛如一個大型加速器。Scale-out 則是伺服器與 pod 之間的網路，也就是本頁所述的 GPU fabric，由乙太網路上的 rail、leaf、spine 與 Clos 各層建構。一次集合作業會先在域內使用 scale-up，接著由 scale-out GPU fabric 承載伺服器之間的其餘部分。

Most GPU fabrics use a rail-optimized leaf-spine design: each of a GPU server's 8 NICs connects to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf. As the cluster grows past a single pod, the same rail-optimized design adds a super-spine tier. On Tomahawk 5, a 2-tier fabric reaches 4,096 GPUs ，每個 GPU 800G，1:1 無阻塞；超過此規模，第三層最多可擴展至 16,384 GPUs. See the rail-optimized network and AI fabric topologies pages.

是的，在 GPU 平面上。GPU 以 RoCEv2 上的 RDMA 搬移資料，而 RDMA 在封包遺失時表現不佳，因此 GPU fabric 以 Priority Flow Control 與 ECN 工程設計為無損，並以動態負載平衡維持負載均勻。這種不丟包的行為，正是讓集合作業不致停滯的關鍵。OcNOS-DC 在 Broadcom Tomahawk 5 上為此正是提供 PFC、ECN、Dynamic ECN 與 DLB。