什么是 AI 网络交换机？

• 端口速率与容量。 GPU NIC 以 400G 和 800G 接入，交换机端口必须与之匹配。51.2 Tbps 交换机提供 64 个 800G 端口；25.6 Tbps 交换机提供 64 个 400G 端口。
• 端口基数（Radix）。 每台交换机的端口数决定一个 leaf 能服务多少 GPU、一个 spine 能连接多少 leaf，进而决定 fabric 需要多少层。层级越少，跳数、光模块和功耗就越少。
• 无损传输。 GPU 之间通过融合以太网上的 RDMA（RoCEv2）交换数据，一旦丢包，性能会急剧下降。交换机需要优先级流量控制（PFC）在队列溢出前暂停该队列，并需要显式拥塞通知（ECN）尽早提醒发送方，与 NIC 上的 DCQCN 拥塞控制协同工作。
• 负载均匀。 AllReduce 等集合通信操作会产生少量非常大的数据流。静态哈希可能将其中两条放到同一链路上，而另一条链路却处于空闲。 动态负载均衡 将流量转移到负载较低的路径。
• 可视性。 流式遥测 实时报告队列深度、PFC 暂停和 ECN 标记，使运维人员能够找到拖慢作业的那条链路。

• 这些是算术上限， 而非产品规模数据。实际设计会受到超额订阅、每台服务器的 rail 数、光模块传输距离和机架功率的影响。
• 在相同端口基数下，800G 可在不增加层级的情况下使每个 GPU 的带宽翻倍。这就是围绕 800G NIC 构建的后端 fabric 采用 51.2 Tbps 交换机的原因。
• IP Infusion 参考设计 适用于 rail 优化和三级 Clos fabric，按实际端口数量规划，详见 AI fabric 拓扑。设计之间如何取舍，请参阅 如何选择 AI 网络 fabric.

您将获得

• 硬件选择。 OcNOS-DC 运行于多家硬件制造商的交换机，因此每个平面都可以按容量、光模块和交付周期进行选择。
• 跨平面统一 NOS。 后端、存储、前端和管理网络运行同一个操作系统、同一套 CLI 和同一种自动化模型。
• 标准以太网。 RoCEv2 fabric 使用与数据中心其余部分相同的光模块、布线和工具，GPU NIC 可以独立于交换机进行选择。
• 通往新芯片的路径。 从 25.6 Tbps 升级到 51.2 Tbps 更换的是交换机，而不是运维模式。

提出的要求

• 集成。 只有当交换机缓冲区、PFC、ECN 和 NIC 的拥塞控制协同调优时，无损以太网才能正常工作。必须有人完成这项调优并对其负责。
• 支持模式。 当硬件和软件来自不同公司时，一旦故障跨越两者边界，运营方需要一个明确的负责方。
• 验证负担。 光模块、线缆、NIC 固件和 NOS 版本都会随时间变化，每种组合都需要在投入生产前进行测试。