面向 AI 集群的 RoCE 与 InfiniBand
RoCEv2 在开放的多厂商以太网上运行 RDMA；InfiniBand 则是单一厂商的无损 fabric。 RoCEv2 借助 PFC 和 ECN 保持无损，并通过 DCQCN 控制拥塞，而 InfiniBand 则通过基于信用的流控在设计上即无损。对多数 AI 工作负载而言，采用 RoCEv2 的以太网如今已能与 InfiniBand 比肩，同时保留硬件选择自由。本页将逐项对比两者。
同样的 GPU，两种保持无损的方式
左：基于以太网的 RoCEv2 通过逐跳 PFC 暂停、交换机上的 ECN 标记，以及回到发送端 NIC 的 DCQCN 速率控制，让队列保持浅层。右：InfiniBand 采用基于信用的流控，仅在接收端已通告缓冲信用时才发送。两者都能避免丢包；一者运行在开放的多厂商以太网上，另一者运行在单一厂商 fabric 上。
RoCE 与 InfiniBand，逐项对比
RoCE 即 RDMA over Converged Ethernet；对 AI 而言重要的版本是 RoCEv2，它把 RDMA 封装进 UDP/IP（目的端口 4791），使流量可在三层以太网 fabric 上路由。InfiniBand 则是 InfiniBand Trade Association 专门构建的互连，通过基于信用的流控在架构上即无损。对 AI 集群而言，务实的问题是：哪种传输既能满足工作负载，又能让成本、供应链和运维保持在合理范围。
| 维度 | RoCE基于以太网的 RoCEv2，开放 | InfiniBand单一厂商 fabric |
|---|---|---|
| 传输与标准 | 基于 UDP/IP 的 RDMA（RoCEv2，IBTA），在三层通过 UDP 目的端口 4791 可路由。承载于标准 IEEE 以太网之上。 | 专门构建的 InfiniBand 链路层与传输层（IBTA），配以专用交换机和主机通道适配器。 |
| 如何保持无损 | 以 PFC 进行逐跳流控，再以 ECN 配合 DCQCN 进行端到端拥塞控制，让交换机队列保持浅层，从而使 RDMA 避免丢包。 | 基于信用的流控：发送端仅凭接收端已通告的缓冲信用发送，因此 fabric 在设计上即无损。 |
| 生态系统 | 每一层都是开放、多厂商的：交换 ASIC、交换机、NIC、NOS 和光模块均来自独立供应商。 | 在 NIC 和交换芯片上实际是单一厂商；fabric、适配器和管理作为一套整体栈提供。 |
| 交换芯片选择 | Broadcom Tomahawk 5（51.2 Tbps，64x800G）和 Tomahawk 4（25.6 Tbps，64x400G），涵盖 Edgecore、UfiSpace 等多个平台。 | 仅有来自 InfiniBand 厂商的芯片；没有独立的 ASIC 或交换机供应。 |
| 拥塞控制 | 端到端 DCQCN：交换机标记 ECN，发送端 NIC 降低速率。动态负载均衡（DLB）分散流量，并在本地拥塞时重新均衡。 | 基于信用的流控，自适应路由已内置于规范之中。 |
| 规模 | 在 Tomahawk 5 上，两层 fabric 可在每个 GPU 800G、1:1 无阻塞的条件下支持 4,096 个 GPU；增加一层 super-spine 后，设计最多可扩展至 16,384 个 GPU。 | 在单一厂商的 fabric 内，通过由集中式子网管理器管理的 fat-tree 拓扑进行扩展。 |
| 运维与工具 | 标准以太网运维：BGP、EVPN、gNMI/OpenConfig 遥测，以及数据中心通用的同一套自动化（Ansible、NETCONF）。 | 专门的 InfiniBand 工具和子网管理器，独立于数据中心其余部分的运营模式。 |
| 厂商锁定 | 本质上没有：可自由搭配硬件与软件，并为供应链引入第二供货源。 | 高：NIC、交换机、布线和管理通常来自单一厂商。 |
InfiniBand 是 InfiniBand Trade Association 的商标。NVIDIA 和 Mellanox 是其各自所有者的商标。本对比仅供参考，不暗示任何隶属关系或背书。
各自的制胜场景
正确答案因工作负载而异。当绝对延迟下限是硬性要求时，选 InfiniBand；当运营模式、成本或跨站点覆盖决定成败时，选 RoCE。
延迟下限即是硬指标
在绝对 NIC 到 NIC 延迟下限比总拥有成本更重要的紧耦合 HPC 仿真场景，以及可接受单一厂商栈的封闭式单租户集群中。
运维与供应链才是关键
多租户 GPU 即服务，以及与数据中心其余部分共享同一运营模式、同一工具栈和多厂商供应链的 AI 后端。
每 GPU 成本是决定门槛
OcNOS-DC 运行在多家厂商的开放硬件上，因此交换硬件可以通过竞争方式采购。
fabric 需要跨越多个数据中心
借助 400G ZR/ZR+ 相干光模块，以太网可自然地跨机房和跨区域延伸，无需单独的长距网关层。
OcNOS-DC 如何交付 RoCEv2 路径
OcNOS-DC 提供 RoCEv2 所需的无损以太网基础。交换机提供避免丢包与拥塞控制的基础机制；RoCEv2 则是运行在 NIC 上的传输协议。
PFC 与 ECN
优先级流控（PFC），包括在三层通过 DCBX/LLDP 实现的带 QoS 的 PFC，以及 ECN 和 Tomahawk 5 上的 Dynamic ECN，让 RDMA 流保持浅队列且不丢包。
DLB 与 RTAG7
动态负载均衡 （包括 Tomahawk 5 上的 Reactive Path Rebalance 与 Random Flow）配合 RTAG7 哈希，分散集合通信流量，并在本地拥塞时重新均衡。
Ultra Ethernet Consortium 成员
IP Infusion 是 Ultra Ethernet Consortium（UEC）的成员。UEC 1.0 定义了一种 多路径以太网传输 ，将一条流分散到多条路径上，运行在支持 UEC 的 NIC 上。
芯片选择是开放的：OcNOS-DC 运行在基于 Broadcom Tomahawk 5 的 Edgecore AIS800-64D 与 UfiSpace S9321-64E / S9321-64EO（-64EO 增加了 400G ZR+）上，以及基于 Tomahawk 4 的 Edgecore AS9736-64D 上，均为片上共享缓冲平台。一份 IP Infusion 合同即可涵盖 OcNOS Systems 上的软件与经过认证的硬件，只需一个 TAC 和一份 SLA。
为何许多运营商在 AI 后端转向以太网
这一转变更多关乎运营与经济，而非纯粹的延迟。在大规模构建中，三点因素会迅速累积：与数据中心其余部分共享的统一网络模型、多厂商供应链，以及在 400G 和 800G 下更低的每端口成本。
这一规模已在实际部署中得到验证。Meta 曾介绍，其最大模型的训练是在一个 24,576 GPU 集群上基于 RoCE 以太网 fabric 完成的，而这种规模过去被认为必须使用 InfiniBand。Tomahawk 4 和 Tomahawk 5 上的动态负载均衡可依据实时拥塞重新绑定流量，因此运行良好的 fabric 可将利用率目标设定在 90% 以上，而静态哈希则会让这部分容量闲置。
InfiniBand 仍存的优势——更低的绝对延迟下限——对一部分紧耦合 HPC 工作负载依然重要。而对大多数大规模分布式训练和推理集合通信而言，一张正确调优的 RoCEv2 fabric 的表现低于会改变作业完成时间的阈值，这正是运营与经济理由如今决定多数新建 AI 后端的原因。
- 与数据中心其余部分共享的统一网络模型，因此技能和工具得以沿用。
- 多厂商供应链，让您能为芯片、交换机、NIC 和光模块引入第二供货源。
- 在 400G 和 800G 下更低的每端口成本，为更多 GPU、更大的存储层或第二站点释放资本。
两者都成立，而多数新建 AI 后端落在以太网上
InfiniBand 保有更低的绝对延迟下限，一部分紧耦合 HPC 工作负载会一直为此买单。而对多数 AI 后端构建而言，运营与经济理由的天平倾向于基于开放以太网的 RoCEv2。
两者都成立
InfiniBand 保有更低的绝对延迟下限，一部分紧耦合 HPC 工作负载会一直为此买单。
RoCEv2 已为 AI 弥合差距
在正确配置 PFC、ECN、DCQCN 和动态负载均衡后，以太网在多数分布式训练集合通信上已能与 InfiniBand 比肩，同时保留硬件选择自由。
决策通常取决于运营
统一的网络模型、多厂商供应链，以及在 400G 和 800G 下更低的每端口成本，决定了多数新建 AI 后端。
OcNOS-DC 是通往开放的路径
当前已在 Edgecore 和 UfiSpace 经过认证的开放硬件上提供 RoCEv2 基础功能，OcNOS Systems 只需一份合同、一个 TAC 和一份 SLA。
获取 AI Fabric 参考设计
完整 PDF：无损 RoCEv2 拓扑、交换机和光模块数量、经过认证的平台，以及 OcNOS-DC 上的 DCQCN 初始配置。
获取 AI Fabric 参考设计
简短表单：提交后 PDF 将立即开始下载。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开，请使用下方链接。
RoCE 与 InfiniBand 常见问题解答
RoCE 与 InfiniBand 有何区别？
在 AI 场景中，以太网和 InfiniBand 一样快吗？
什么是 RoCEv2?
RoCE 需要无损 fabric 吗？
我能在开放交换机上运行 RoCE 吗？
那 Ultra Ethernet 呢？
深入了解，随身带走。
产品数据手册，以及内容比本页更为深入的简明技术下载资料。
OcNOS-DC 数据手册
完整的 OcNOS-DC 规格：EVPN-VXLAN 与 Ethernet for AI 功能集、软件 SKU、支持的硬件平台，以及解决方案订购指南。
获取数据手册OcNOS 800G 无损 AI Fabric
基于 Tomahawk 5 spine 的无损 RoCEv2 fabric：SKU 等级、经过认证的平台和部署架构。
获取简报EVPN-VXLAN 数据中心网络
基于 EVPN-VXLAN 的 leaf-spine 数据中心 fabric：每租户一个 VRF 和多个 VNI、EVPN 多归属、BGP unnumbered 和 route-target 过滤。
获取简报OcNOS-DC 数据手册
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开，请使用下方链接。
OcNOS 800G 无损 AI Fabric
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开，请使用下方链接。
EVPN-VXLAN 数据中心网络
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开，请使用下方链接。
在对比 InfiniBand 为 RoCEv2 fabric 设定规格？让我们一起做针对具体工作负载的测算
告诉我们工作负载和 GPU 规模，IP Infusion 的工程师将与您一起测算，或先在 AI Fabric Design Suite 中生成一版初步的 leaf-spine 布局。
用 OcNOS 设计整张 AI fabric
从商业论证到端口数量测算，无论您进行到哪一步，都可从此接续。