什么是 GPU Fabric？

GPU fabric 是把跨服务器和跨 pod 的 GPU 互连起来的后端网络，使它们能协同完成一项训练或推理作业。它承载 GPU 在集合操作期间交换的 RDMA 流量，并独立于用于管理和存储的前端网络。实践中，GPU fabric 是一张 leaf-spine（Clos）以太网网络，通常经过 rail 优化，运行无损 RoCEv2。OcNOS-DC 在 Broadcom Tomahawk 5 硬件上提供它。

scale-up 是 GPU 服务器及其紧耦合域内部的超高带宽互连，例如 NVL72 机架内的 NVLink，GPU 在其中以太比特速率通信，仿佛构成一个大型加速器。scale-out 则是服务器与 pod 之间的网络，即本页所述的 GPU fabric，由以太网上的 rail、leaf、spine 和 Clos 各层构建。一次集合通信先在域内使用 scale-up，然后由 scale-out GPU fabric 在服务器之间承载其余部分。

Most GPU fabrics use a rail-optimized leaf-spine design: each of a GPU server's 8 NICs connects to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf. As the cluster grows past a single pod, the design extends to a 3-stage Clos with a super-spine tier. 在基数为 64 的 Tomahawk 5 上，两级 fabric 约达 2,048 GPUs at 1:1 non-blocking and a 3-stage Clos scales to 16,000+ GPUs. See the rail-optimized network and AI fabric topologies pages.

是的，在 GPU 平面上如此。GPU 通过基于 RoCEv2 的 RDMA 搬移数据，而 RDMA 在丢包下表现很差，因此 GPU fabric 通过优先级流控和 ECN 被精心设计为无损，并通过动态负载均衡保持负载均匀。正是这种不丢包的行为让集合通信不致停滞。OcNOS-DC 在 Broadcom Tomahawk 5 上正是为此提供 PFC、ECN、Dynamic ECN 和 DLB。