什么是 AI Fabric?
AI fabric 是在分布式训练和推理期间承载 GPU 之间 RDMA 流量的 GPU 后端(scale-out)网络。 它使用叶交换机和脊交换机,以轨道优化和 Clos 拓扑连接跨服务器和 pod 的每一个 GPU NIC,并运行无损 Ethernet 传输(带 PFC 和 ECN 的 RoCEv2),确保负载下不丢包。由于 GPU 以同步的集合通信交换数据,网络的尾部时延决定作业完成时间。这里取的是网络意义,而非数据管理中所说的企业级“数据编织”。OcNOS-DC 在 Broadcom Tomahawk 5 硬件上提供这种网络。
网络意义上的概念,而非“数据 fabric”
两个不同领域都在使用“fabric”这个词。数据 fabric 是一种用于在企业范围内统一和治理数据的软件架构。而本页所讨论的 AI fabric,则是一张物理网络:在 GPU 之间搬移 RDMA 流量的线缆、交换机和传输。当 AI 基础设施团队说“fabric 是瓶颈”时,他们指的正是这张网络——那张决定了训练运行耗时多久的网络。
- 数据 fabric。 一种用于在各系统间统一和治理数据的企业级数据管理架构。是软件,而非线缆。
- AI 网络。 在训练和推理期间承载 GPU 之间 RDMA 的物理 GPU 后端网络。本页讨论的正是这一含义。
- 为何重要。 AI fabric 是决定作业完成时间的那一个,因此它被精心设计以保持无损且负载均匀。
Rail、Clos,以及一种不允许丢包的传输
AI fabric 是一张为单一流量模式调优的 leaf-spine(Clos)网络:众多 GPU 同时相互发送大流量。三项设计选择定义了它,而每一项都是为保护作业完成时间而存在。
rail 优化,先双层再三层
GPU 服务器的 8 个 NIC 各自连接到自己的 专用 rail leaf,因此占主导的同 rail AllReduce 流量留在一台 leaf 上。超出 4,096 个 GPU 的单个 pod 后,同样的 rail 优化设计增加第三层:leaf、spine 和 super-spine。
无损 RoCEv2
GPU 用 RDMA 搬移数据,而 RDMA 在数据包被丢弃时表现很差。 PFC 阻止交换机队列溢出,而 ECN 提前标记数据包,使发送端 NIC 在丢包发生之前就减速。这种组合让 RoCEv2 在以太网上运行。
为何它必须无损
OcNOS-DC 交付这张 fabric,配以 PFC(包括三层)、ECN、Dynamic ECN、WRED,以及动态负载均衡,让每条路径均匀负载,因为尾部的那条流决定了整个作业何时完成。
以太网已足够,而交换机决定上限
如今 AI fabric 是一张以太网网络。它能达到的规模由其底层的交换芯片以及您所设计的 GPU 数量决定。
- 以太网已足够。 带 PFC 和 ECN 的 RoCEv2 在标准的多厂商硬件上交付无损 RDMA。Meta 已公布一个基于以太网构建的 24,576-GPU 训练集群。
- 交换机决定上限。 OcNOS-DC 运行在 Broadcom Tomahawk 5(51.2 Tbps,64x800G)平台上,例如 Edgecore AIS800-64D 和 UfiSpace S9321-64E,这正是 800G GPU fabric 所需的密度。
- 按 GPU 数量设计。 Tomahawk 5 上的 rail 优化两层 pod 最多支持 4,096 个 GPU,再增加第三层 super-spine 最多可达 16,384 个 GPU。
什么是 AI Fabric 常见问题解答
什么是AI组网?
AI fabric 和数据 fabric 是一回事吗?
为何 AI fabric 决定作业完成时间?
AI fabric 需要 InfiniBand,还是以太网就够了?
用 OcNOS 设计整张 AI fabric
从商业论证到端口数量测算,无论您进行到哪一步,都可从此接续。
深入了解,随身带走。
两份简短的技术下载资料,比本页更深入:完整的 OcNOS-DC 数据表和无损 800G AI fabric 架构。
OcNOS-DC 数据手册
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开,请使用下方链接。
OcNOS 800G 无损 AI Fabric
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开,请使用下方链接。