厂商中立的选型指南

如何选择 AI 网络 fabric

只有底层 fabric 跟得上,GPU 才能以额定吞吐量运行。这是一个厂商中立的框架,帮助您在签约前按决定 AI fabric 的六项标准对其进行评分。

如何选择 AI 网络 fabric? 按六项标准评估候选方案:GPU 平面的无损性能(具备 PFC、ECN 和动态负载均衡的 RoCEv2)、与 GPU 数量相匹配的规模与拓扑、开放性与厂商锁定、运维与遥测、一份合同下的支持责任,以及包括 Ultra Ethernet 在内的标准路线图。首先看无损,因为它保障训练吞吐,再根据增长计划权衡其余各项。

将 fabric 视为由六个部分组成的一项决策

AI 网络 fabric 一次采购便要使用多年,因此应根据六项特性与您运行集群方式的契合程度来评分,而不是只看单一的标题数字。可供选择的 fabric 有三类:

  • 封闭的单一厂商堆栈 将 NIC、交换机和调度器捆绑为一个 SKU,并替您决定各项取舍。
  • 社区与开源 NOS 方案提供代码,但集成和支持工作由您自己承担。
  • 开放的商用 NOS 方案在保留硬件选择权的同时提供支持合同。

以下标准可按相同条件对它们进行评分。

1

性能与无损

AI 集合通信使用 RDMA,而 RDMA 需要无损的底层。RoCEv2 在以太网上实现了这一点,但前提是具备完整的拥塞控制工具集,而不是勾选一个选项。在负载下暂停处理不当或丢包的 fabric,是训练吞吐量停滞最常见的原因,因此请首先确定这一标准。

应提出的问题

  • 是否提供 RoCEv2 所需的无损以太网 fabric,包括配合 DCBX 和 LLDP 的 L3 PFC?
  • 是否具备 ECN 标记?是否有可在负载下自适应调整阈值的动态版本?
  • 是否具备 PFC 死锁检测与恢复,以及 WRED 和缓冲区调优?
  • 在集合通信期间某条链路变热时,如何压低尾延迟?

评估方法

询问具体的拥塞控制功能,并确认它们能在您将采购的芯片上运行。可信的回答会列出 PFC(包括 L3 上的 PFC,配合 DCBX 和 LLDP)、ECN 与 Dynamic ECN、ETS、WRED、PFC 死锁检测与恢复,以及可将流量从热点链路上重新均衡的动态负载均衡。静态哈希可能让大流量在部分链路上持续冲突,而 Tomahawk 4 和 Tomahawk 5 上的动态负载均衡以 90% 左右的 fabric 利用率为目标,因此应将其视为吞吐量功能,而非锦上添花。请参阅 RoCE 与 InfiniBand 对比 对比,了解无损模型与 InfiniBand 信用流控的区别。

2

规模与拓扑契合度

合适的拓扑是能在集合通信期间让每个 GPU 链路保持饱和的最小无阻塞设计,并为下一档规模留有清晰的扩展路径。无法扩展的拓扑日后会迫使您整体替换,因此应按集群的发展方向而非起点规模来设定规格。

应提出的问题

  • GPU 平面是否为 1:1 无阻塞?超额订阅从哪里开始?
  • 在必须增加一层之前,该设计可达到的最大集群规模是多少?
  • 是否支持 rail 优化布线以及面向多 pod 规模的 super-spine 层?

评估方法

将候选方案与具体的 GPU 数量对照。在 Tomahawk 5 交换机上,双层 leaf-spine 在每 GPU 800G、1:1 无阻塞下可达 4,096 个 GPU,每台交换机以 128×400G 运行,每个 GPU 接入两个 400G leaf 端口。超出后,在同样的 rail 优化 pod 之上增加 super-spine 层,可扩展至 16,000+ 个 GPU。请使用 rail 优化 布线实现单 pod 局部性,Clos 实现多 pod 规模; 参考拓扑 展示了端口测算,而 AI 网络设计套件 可给出初步估算。

3

开放性与锁定

封闭的 AI fabric 将 NIC、交换机和调度器绑定到一家供应商,由其替您决定价格和路线图。开放方式则在来自多家硬件厂商的标准以太网芯片上运行商用 NOS,因此您可以保留硬件选择权并实现第二货源。多年成本与议价能力正是在这里决定的。

应提出的问题

  • 交换机、NOS 和光模块能否分别独立采购?
  • fabric 是基于公开的、标准化的以太网构建,还是采用专有传输?
  • 同一软件是否有不止一个经过认证的硬件平台?

评估方法

请查看由多家厂商支持的经过认证的硬件清单。开放的商用 NOS 方案可在不同制造商的 Broadcom Tomahawk 5 平台上运行同一软件,例如 Edgecore AIS800-64D 和 UfiSpace S9321-64E,使第二货源成为现实而非理论。与之形成对比的是封闭的单一厂商 NIC、交换机和调度器 SKU,其部件只能彼此配合使用。真正有用的问题不是一款产品与另一款产品的比较,而是对同一 fabric 您能追究多少家供应商的责任。

4

运维、自动化与遥测

难以部署或在生产中缺乏可视性的 fabric,其成本远高于标价。运维模式,即您如何部署、观测和调优,是首要的采购标准,而不是硬件到货后才考虑的事项。

应提出的问题

  • 是否支持基于 gNMI、采用 OpenConfig 模型的流式遥测?
  • 是否支持零接触部署(ZTP),以便大规模部署 fabric?
  • 能否使用 Ansible 等标准工具实现自动化,并通过 DCBX 传递 QoS 信令?

评估方法

请在候选方案自己的文档中查看遥测和自动化能力,而不是看幻灯片。有力的回答应涵盖进入您可观测性栈的 gNMI 和 OpenConfig 流式遥测、用于部署的 ZTP、用于无损信令的 DCBX 和 LLDP,以及基于 Ansible 的配置。关键在于部署期间的闭环调优:在您反复调整 PFC 和 ECN 阈值时可以观察的逐队列计数器和缓冲区状态,而不是设置一次就听天由命的黑盒。

5

支持与问责

当训练作业在凌晨 3 点停滞时,问题在于谁负责修复。没有单一问责合同的多厂商构建,会演变成 NIC、交换机、光模块和软件厂商之间的相互推诿。解决办法是一份合同,而不是一个封闭堆栈。

应提出的问题

  • 是否有一份涵盖软件和经过认证的硬件的支持合同?
  • 是一个 TAC 和一个 SLA,还是需要协调多个?
  • 您所采购的具体软硬件组合由谁验证?

评估方法

将问责与锁定区分开:您需要的是单一厂商问责,而不是单一厂商硬件。理想的模式是开放的硬件选择搭配一份支持协议:一份合同涵盖软件和经过认证的硬件,一个 TAC,一个 SLA,这样即使部件是开放采购的,故障也能得到端到端的负责处理。

6

标准与路线图

AI fabric 传输发展迅速。Ultra Ethernet Consortium(UEC)发布了面向 AI 与 HPC 的开放多路径以太网传输,其端点行为运行在支持 UEC 的 NIC 上,因此请区分各厂商当前在生产环境中运行的能力与其规划中的能力。

应提出的问题

  • 该厂商是否为 Ultra Ethernet Consortium 成员?
  • 该 fabric 当前在生产环境中运行什么,基于哪款芯片?
  • 负载均衡和拥塞控制的近期路线图包括哪些内容?

评估方法

区分已交付的能力与规划中的能力。IP Infusion 是 Ultra Ethernet Consortium 的成员,OcNOS-DC 如今已在 Broadcom Tomahawk 4 和 Tomahawk 5 交换机上,于生产环境中运行基于 PFC、ECN 标记和 DLB 的无损 RoCEv2。DCQCN 运行在 NIC 上,并对这些 ECN 标记作出反应。Global Load Balancing(GLB)将在 OcNOS 7.1 中推出。关于路线图,请索要具体项目:基于时延的 ECN(7.1.0)、链路级重试、基于信用的流控和数据包裁剪。请参阅 InfiniBand 与以太网对比 ,了解开放路径的对比。

选型检查清单

无论是封闭的单一厂商堆栈、社区 NOS 还是开放的商用 NOS,请用同一份清单评估每个候选 fabric。如果某一项无法勾选,在认定它无关紧要之前先问清原因。

  • 无损底层。 RoCEv2 配合 PFC(包括 L3 上的 PFC、DCBX、LLDP)、ECN 与 Dynamic ECN、ETS、WRED,以及 PFC 死锁检测与恢复。
  • 动态负载均衡。 流量从热点链路上重新均衡,而不仅仅是静态 ECMP 哈希。
  • 1:1 无阻塞 GPU 平面。 GPU fabric 无超额订阅,按目标 GPU 数量设定规格,并为下一层留有余量。
  • 拓扑契合度。 基于您所采购芯片的 rail 优化单 pod 设计与三层多 pod 设计。
  • 硬件选择。 同一 NOS 有不止一家经过认证的硬件厂商,使第二货源真实可行。
  • 开放传输。 基于标准的以太网,而不是专有的 NIC、交换机和调度器捆绑。
  • 遥测与自动化。 gNMI 和 OpenConfig 流式遥测、ZTP、DCBX 以及 Ansible。
  • 一份可问责的合同。 一份涵盖作为一个系统购买的软件和硬件的支持协议,一个 TAC,一个 SLA。
  • 标准路线图。 厂商是 Ultra Ethernet Consortium 成员,并明确列出其负载均衡与拥塞控制的路线图项目。

基于 OcNOS-DC 的开放以太网适用之处

阅读上述标准,并为您的集群选择得分最高的方案。对于希望在保留开放硬件选择的同时只签一份问责合同的买家,以下按同一份清单如实列出 IP Infusion 的情况,便于您与其他方案比较。

生产级 RoCEv2 fabric

OcNOS-DC 在 Broadcom Tomahawk 5 上提供 RoCEv2 所需的无损以太网 fabric:配合 DCBX 和 LLDP 的 L3 PFC、ECN 与 Dynamic ECN、ETS、WRED、PFC 死锁检测与恢复,以及具备响应式路径再均衡的 DLB。

4,096 到 16,000+ 个 GPU

双层 TH5 pod 在每 GPU 800G、1:1 无阻塞下可达 4,096 个 GPU;超出后,super-spine 层可扩展至 16,000+ 个 GPU。

多厂商硬件

一个 NOS 覆盖多家制造商的 Tomahawk 5 平台,包括 Edgecore AIS800-64D 以及 UfiSpace S9321-64E 和支持 400G ZR+ 的 S9321-64EO,使第二货源始终真实可行。

开放式遥测与自动化

gNMI 和 OpenConfig 流式遥测、ZTP、DCBX 和 Ansible,以及用于闭环部署的 RTAG7 哈希和缓冲区调优。

OcNOS Systems:一份合同、一个 TAC、一份 SLA

借助 OcNOS Systems,一份 IP Infusion 协议即可涵盖 OcNOS 软件与经过认证的硬件,让您获得单一厂商的责任归属,而无单一厂商锁定。

UEC 成员,路线图明确

IP Infusion 是 Ultra Ethernet Consortium 的成员。GLB 将在 OcNOS 7.1 中推出,基于时延的 ECN 已列入面向 OcNOS-DC 的 OcNOS 7.1 版本系列。

AI fabric 选型指南常见问题

选择 AI fabric 时应首先评估什么?
从 GPU 平面的无损性能入手,因为这正是保障训练吞吐量的关键。确认 fabric 提供 RDMA 所需的无损 RoCEv2 底层:PFC(包括 L3 上的 PFC,配合 DCBX 和 LLDP 信令)、ECN 与 Dynamic ECN 标记、WRED,以及 PFC 死锁检测与恢复。然后确认动态负载均衡,确保集合通信期间没有链路成为热点。只有在性能确定之后,才应权衡规模、开放性、运维、支持和路线图。
对于 AI 而言,以太网与 InfiniBand 哪个更好?
两者都能承载 AI 流量;差别在于生态和锁定。InfiniBand 是拥有自有布线和管理体系的单一厂商堆栈。以太网是多厂商、基于标准的:配合 PFC 和 ECN 的 RoCEv2 如今已能提供无损 RDMA,而 Ultra Ethernet Consortium(UEC)的方向将在开放硬件上弥合剩余的性能差距。对于希望保留硬件选择、不依赖单一厂商的买家,开放以太网是锁定程度更低的路径。请参阅我们的 InfiniBand 与以太网对比 和 RoCE 与 InfiniBand 对比 对比。
我需要按多少个 GPU 进行规划?
请按集群未来的规模而非首批采购的规模来规划,避免拓扑迫使您重建。在 Tomahawk 5 交换机上,双层 leaf-spine 在每 GPU 800G、1:1 无阻塞下可达 4,096 个 GPU,每台交换机以 128×400G 运行,每个 GPU 接入两个 400G leaf 端口。超出后,在同样的 rail 优化 pod 之上增加 super-spine 层,可扩展至 16,000+ 个 GPU。可使用以下工具进行初步估算: AI 网络设计套件.
如何避免厂商锁定?
将您采购的各层分开。封闭的 AI fabric 将 NIC、交换机和调度器绑定到一家供应商,价格和路线图都由其决定。开放网络方式让您在来自多家硬件厂商的标准以太网芯片上运行商用 NOS,因此您可以保留硬件选择权并实现第二货源。请确认交换机、NOS 和光模块能否分别独立采购,以及 fabric 是否运行在公开的、基于标准的以太网上,而非专有传输。
UEC 对我的采购意味着什么?
Ultra Ethernet Consortium(UEC)发布了面向 AI 与 HPC 的开放多路径以太网传输。UEC 1.0 将一条流分散到多条路径上,这一端点行为运行在支持 UEC 的 NIC 上。如果现在采购,应以 fabric 当前在生产环境中运行的能力为依据,并要求每家厂商列出具体的路线图项目。IP Infusion 是 UEC 的成员,OcNOS-DC 如今已在 Broadcom Tomahawk 4 和 Tomahawk 5 交换机上,于生产环境中运行基于 PFC、ECN 标记和 DLB 的无损 RoCEv2。DCQCN 运行在 NIC 上,并对这些 ECN 标记作出反应。
硬件和软件是否需要来自同一家厂商?
您需要的是一份可问责的合同,这与一个封闭堆栈并不相同。采用开放网络,您可以分别选择交换机硬件和 NOS,再在一份支持协议下采购。选择 IP Infusion,将交换机作为 OcNOS Systems 购买时,一份合同涵盖 OcNOS 软件和硬件,一个 TAC,一个 SLA,让您获得单一厂商问责,而不受单一厂商锁定。对于您自行购买的硬件,由 IP Infusion 支持软件,由制造商支持硬件。

深入了解,随身带走。

两份简短的技术下载资料,比本页更深入:完整的 OcNOS-DC 数据表和无损 800G AI fabric 架构。

数据手册

OcNOS-DC 数据手册

完整的 OcNOS-DC 规格:EVPN-VXLAN 与 Ethernet for AI 功能集、软件 SKU、支持的硬件平台,以及解决方案订购指南。

获取数据手册
解决方案简报

OcNOS 800G 无损 AI Fabric

基于 Tomahawk 5 spine 的无损 RoCEv2 fabric:SKU 等级、经过认证的平台和部署架构。

获取简报

正在为您的集群评估 fabric?我们可以与您一起逐项过一遍清单。

预约架构评审 →