如何选择 AI 网络 fabric
只有底层 fabric 跟得上,GPU 才能以额定吞吐量运行。这是一个厂商中立的框架,帮助您在签约前按决定 AI fabric 的六项标准对其进行评分。
将 fabric 视为由六个部分组成的一项决策
AI 网络 fabric 一次采购便要使用多年,因此应根据六项特性与您运行集群方式的契合程度来评分,而不是只看单一的标题数字。可供选择的 fabric 有三类:
- 封闭的单一厂商堆栈 将 NIC、交换机和调度器捆绑为一个 SKU,并替您决定各项取舍。
- 社区与开源 NOS 方案提供代码,但集成和支持工作由您自己承担。
- 开放的商用 NOS 方案在保留硬件选择权的同时提供支持合同。
以下标准可按相同条件对它们进行评分。
性能与无损
AI 集合通信使用 RDMA,而 RDMA 需要无损的底层。RoCEv2 在以太网上实现了这一点,但前提是具备完整的拥塞控制工具集,而不是勾选一个选项。在负载下暂停处理不当或丢包的 fabric,是训练吞吐量停滞最常见的原因,因此请首先确定这一标准。
应提出的问题
- 是否提供 RoCEv2 所需的无损以太网 fabric,包括配合 DCBX 和 LLDP 的 L3 PFC?
- 是否具备 ECN 标记?是否有可在负载下自适应调整阈值的动态版本?
- 是否具备 PFC 死锁检测与恢复,以及 WRED 和缓冲区调优?
- 在集合通信期间某条链路变热时,如何压低尾延迟?
评估方法
询问具体的拥塞控制功能,并确认它们能在您将采购的芯片上运行。可信的回答会列出 PFC(包括 L3 上的 PFC,配合 DCBX 和 LLDP)、ECN 与 Dynamic ECN、ETS、WRED、PFC 死锁检测与恢复,以及可将流量从热点链路上重新均衡的动态负载均衡。静态哈希可能让大流量在部分链路上持续冲突,而 Tomahawk 4 和 Tomahawk 5 上的动态负载均衡以 90% 左右的 fabric 利用率为目标,因此应将其视为吞吐量功能,而非锦上添花。请参阅 RoCE 与 InfiniBand 对比 对比,了解无损模型与 InfiniBand 信用流控的区别。
规模与拓扑契合度
合适的拓扑是能在集合通信期间让每个 GPU 链路保持饱和的最小无阻塞设计,并为下一档规模留有清晰的扩展路径。无法扩展的拓扑日后会迫使您整体替换,因此应按集群的发展方向而非起点规模来设定规格。
应提出的问题
- GPU 平面是否为 1:1 无阻塞?超额订阅从哪里开始?
- 在必须增加一层之前,该设计可达到的最大集群规模是多少?
- 是否支持 rail 优化布线以及面向多 pod 规模的 super-spine 层?
开放性与锁定
封闭的 AI fabric 将 NIC、交换机和调度器绑定到一家供应商,由其替您决定价格和路线图。开放方式则在来自多家硬件厂商的标准以太网芯片上运行商用 NOS,因此您可以保留硬件选择权并实现第二货源。多年成本与议价能力正是在这里决定的。
应提出的问题
- 交换机、NOS 和光模块能否分别独立采购?
- fabric 是基于公开的、标准化的以太网构建,还是采用专有传输?
- 同一软件是否有不止一个经过认证的硬件平台?
评估方法
请查看由多家厂商支持的经过认证的硬件清单。开放的商用 NOS 方案可在不同制造商的 Broadcom Tomahawk 5 平台上运行同一软件,例如 Edgecore AIS800-64D 和 UfiSpace S9321-64E,使第二货源成为现实而非理论。与之形成对比的是封闭的单一厂商 NIC、交换机和调度器 SKU,其部件只能彼此配合使用。真正有用的问题不是一款产品与另一款产品的比较,而是对同一 fabric 您能追究多少家供应商的责任。
运维、自动化与遥测
难以部署或在生产中缺乏可视性的 fabric,其成本远高于标价。运维模式,即您如何部署、观测和调优,是首要的采购标准,而不是硬件到货后才考虑的事项。
应提出的问题
- 是否支持基于 gNMI、采用 OpenConfig 模型的流式遥测?
- 是否支持零接触部署(ZTP),以便大规模部署 fabric?
- 能否使用 Ansible 等标准工具实现自动化,并通过 DCBX 传递 QoS 信令?
评估方法
请在候选方案自己的文档中查看遥测和自动化能力,而不是看幻灯片。有力的回答应涵盖进入您可观测性栈的 gNMI 和 OpenConfig 流式遥测、用于部署的 ZTP、用于无损信令的 DCBX 和 LLDP,以及基于 Ansible 的配置。关键在于部署期间的闭环调优:在您反复调整 PFC 和 ECN 阈值时可以观察的逐队列计数器和缓冲区状态,而不是设置一次就听天由命的黑盒。
支持与问责
当训练作业在凌晨 3 点停滞时,问题在于谁负责修复。没有单一问责合同的多厂商构建,会演变成 NIC、交换机、光模块和软件厂商之间的相互推诿。解决办法是一份合同,而不是一个封闭堆栈。
应提出的问题
- 是否有一份涵盖软件和经过认证的硬件的支持合同?
- 是一个 TAC 和一个 SLA,还是需要协调多个?
- 您所采购的具体软硬件组合由谁验证?
评估方法
将问责与锁定区分开:您需要的是单一厂商问责,而不是单一厂商硬件。理想的模式是开放的硬件选择搭配一份支持协议:一份合同涵盖软件和经过认证的硬件,一个 TAC,一个 SLA,这样即使部件是开放采购的,故障也能得到端到端的负责处理。
标准与路线图
AI fabric 传输发展迅速。Ultra Ethernet Consortium(UEC)发布了面向 AI 与 HPC 的开放多路径以太网传输,其端点行为运行在支持 UEC 的 NIC 上,因此请区分各厂商当前在生产环境中运行的能力与其规划中的能力。
应提出的问题
- 该厂商是否为 Ultra Ethernet Consortium 成员?
- 该 fabric 当前在生产环境中运行什么,基于哪款芯片?
- 负载均衡和拥塞控制的近期路线图包括哪些内容?
评估方法
区分已交付的能力与规划中的能力。IP Infusion 是 Ultra Ethernet Consortium 的成员,OcNOS-DC 如今已在 Broadcom Tomahawk 4 和 Tomahawk 5 交换机上,于生产环境中运行基于 PFC、ECN 标记和 DLB 的无损 RoCEv2。DCQCN 运行在 NIC 上,并对这些 ECN 标记作出反应。Global Load Balancing(GLB)将在 OcNOS 7.1 中推出。关于路线图,请索要具体项目:基于时延的 ECN(7.1.0)、链路级重试、基于信用的流控和数据包裁剪。请参阅 InfiniBand 与以太网对比 ,了解开放路径的对比。
选型检查清单
无论是封闭的单一厂商堆栈、社区 NOS 还是开放的商用 NOS,请用同一份清单评估每个候选 fabric。如果某一项无法勾选,在认定它无关紧要之前先问清原因。
- 无损底层。 RoCEv2 配合 PFC(包括 L3 上的 PFC、DCBX、LLDP)、ECN 与 Dynamic ECN、ETS、WRED,以及 PFC 死锁检测与恢复。
- 动态负载均衡。 流量从热点链路上重新均衡,而不仅仅是静态 ECMP 哈希。
- 1:1 无阻塞 GPU 平面。 GPU fabric 无超额订阅,按目标 GPU 数量设定规格,并为下一层留有余量。
- 拓扑契合度。 基于您所采购芯片的 rail 优化单 pod 设计与三层多 pod 设计。
- 硬件选择。 同一 NOS 有不止一家经过认证的硬件厂商,使第二货源真实可行。
- 开放传输。 基于标准的以太网,而不是专有的 NIC、交换机和调度器捆绑。
- 遥测与自动化。 gNMI 和 OpenConfig 流式遥测、ZTP、DCBX 以及 Ansible。
- 一份可问责的合同。 一份涵盖作为一个系统购买的软件和硬件的支持协议,一个 TAC,一个 SLA。
- 标准路线图。 厂商是 Ultra Ethernet Consortium 成员,并明确列出其负载均衡与拥塞控制的路线图项目。
基于 OcNOS-DC 的开放以太网适用之处
阅读上述标准,并为您的集群选择得分最高的方案。对于希望在保留开放硬件选择的同时只签一份问责合同的买家,以下按同一份清单如实列出 IP Infusion 的情况,便于您与其他方案比较。
生产级 RoCEv2 fabric
OcNOS-DC 在 Broadcom Tomahawk 5 上提供 RoCEv2 所需的无损以太网 fabric:配合 DCBX 和 LLDP 的 L3 PFC、ECN 与 Dynamic ECN、ETS、WRED、PFC 死锁检测与恢复,以及具备响应式路径再均衡的 DLB。
4,096 到 16,000+ 个 GPU
双层 TH5 pod 在每 GPU 800G、1:1 无阻塞下可达 4,096 个 GPU;超出后,super-spine 层可扩展至 16,000+ 个 GPU。
多厂商硬件
一个 NOS 覆盖多家制造商的 Tomahawk 5 平台,包括 Edgecore AIS800-64D 以及 UfiSpace S9321-64E 和支持 400G ZR+ 的 S9321-64EO,使第二货源始终真实可行。
开放式遥测与自动化
gNMI 和 OpenConfig 流式遥测、ZTP、DCBX 和 Ansible,以及用于闭环部署的 RTAG7 哈希和缓冲区调优。
OcNOS Systems:一份合同、一个 TAC、一份 SLA
借助 OcNOS Systems,一份 IP Infusion 协议即可涵盖 OcNOS 软件与经过认证的硬件,让您获得单一厂商的责任归属,而无单一厂商锁定。
UEC 成员,路线图明确
IP Infusion 是 Ultra Ethernet Consortium 的成员。GLB 将在 OcNOS 7.1 中推出,基于时延的 ECN 已列入面向 OcNOS-DC 的 OcNOS 7.1 版本系列。
AI fabric 选型指南常见问题
选择 AI fabric 时应首先评估什么?
对于 AI 而言,以太网与 InfiniBand 哪个更好?
我需要按多少个 GPU 进行规划?
如何避免厂商锁定?
UEC 对我的采购意味着什么?
硬件和软件是否需要来自同一家厂商?
用 OcNOS 设计整张 AI fabric
从商业论证到端口数量测算,无论您进行到哪一步,都可从此接续。
深入了解,随身带走。
两份简短的技术下载资料,比本页更深入:完整的 OcNOS-DC 数据表和无损 800G AI fabric 架构。
OcNOS-DC 数据手册
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开,请使用下方链接。
OcNOS 800G 无损 AI Fabric
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开,请使用下方链接。

