OcNOS AI Fabric：用于 GPU 集群的开放 800G 无损以太网

没有哪个基于通用芯片的以太网 NOS 是真正意义上的 AI 原生：没有一个会在交换机上感知 xCCL（NCCL / RCCL / oneCCL）集合通信或调度作业；那属于 NIC 和调度器。OcNOS-DC 实现了 2026 年 AI 工作负载所需的每一项 fabric 机制：无损 RoCEv2、针对 RDMA 集合通信流量模式调优的 DCQCN 缓冲区配置、亚毫秒级 DLB flowlet 重绑定，以及 PFC 死锁看门狗，同时不涉足上层。所谓“AI 感知 fabric”通常只是指某家厂商将 NIC + 交换机 + 调度器作为一个锁定的 SKU 出售。

OcNOS-DC 负责 layer 1：lossless RDMA 传输、拥塞控制、自适应路由、死锁恢复、遥测。NIC 负责 layer 2（xCCL、RDMA verbs、packet spray、GPU-Direct 内存）；调度器负责 layer 3（作业放置、梯度同步窗口、租户隔离）。OcNOS-DC 将 gNMI 遥测数据流式上送至 layer 3，但绝不试图扮演调度器：这种分层使 NIC、GPU 与编排系统始终保持可替换。

OcNOS-DC 提供完整的 AI fabric：经过验证的开放交换机与 OcNOS-DC，以 OcNOS Systems 形式在一份支持合同下交付，来自运行服务提供商网络的同一 OcNOS 产品家族。它运行在 Broadcom 芯片上，提供无损 RoCEv2（PFC、ECN、具备 Reactive Path Rebalance 的亚毫秒级 DLB）、PFC 死锁恢复，以及 Premium 和 Enterprise 等级的 24/7 支持，不存在 NIC、GPU 或硬件锁定。其他方案的差异在于交易形态。封闭的 NIC 加交换机堆栈会在 NIC、交换机和 GPU 路线图上把 fabric 绑定到一家厂商。专有硬件 NOS 方案在锁定的硬件上以按端口授权方式运行类似的 RoCEv2 功能。社区开源 NOS 发行版把 AI 调优的默认配置、死锁看门狗和 SLA 都留给运营方自行解决。基于信元的机箱式 fabric 采用调度信元架构，而不是标准以太网 NOS。

OcNOS-DC 如今已在生产环境中运行基于 DCQCN 和亚毫秒级 DLB 的无损 RoCEv2，IP Infusion 是 Ultra Ethernet Consortium（UEC）的成员。UEC 1.0 定义了一种多路径以太网传输，将一条流分散到多条路径上，而不是固定在单个 ECMP 哈希上，这一端点行为运行在支持 UEC 的 NIC 上。如需规划 UEC 在具体部署中的定位，请咨询 IP Infusion 工程师，并参阅 Ultra Ethernet 深度解析。

您的训练集合通信 AllReduce 和 AllGather 通过 RoCEv2 在 GPU 之间直接搬运数据，路径中不经过 CPU，而 RDMA 从不重传，因此单个丢失的报文就会让该操作在任务的每一块 GPU 上重新开始。这正是生产级 RoCEv2 需要真正无损架构（PFC 加 ECN）的原因，OcNOS-DC 随附针对 RDMA 集合通信流量调优的 RoCEv2 缓冲配置和 DCQCN 默认值，让您的团队无需从零构建这种无损行为。

三种机制：PFC 在缓冲区溢出前按优先级暂停流量；ECN 提前标记报文以让发送端减速；ETS 让 RDMA 流量优先于较低优先级流量。在此之上，按端口、按优先级的 deadlock watchdog 会检测暂停队列的循环，并在作业挂起前自动清空队列：过去这种故障模式曾迫使在作业中途对交换机进行电源重启。PFC over L3 在路由边界之间同样受支持。

在 AllReduce 过程中，当标准 ECMP 在整个生命周期内将每条流固定绑定到单条上行链路时，最大的几条流会相互碰撞，同步则被卡在拥塞链路上等待。DLB 读取 ASIC 队列深度的实时遥测数据，在不到一毫秒内将 flowlet 重新绑定到负载更轻的路径，因此如今就能在本地跳恢复被浪费的吞吐量。将在 OcNOS 7.1 中推出的 GLB 会把同样的理念扩展到整个 fabric：spine 将路径质量遥测数据回传给入口 leaf，使路由能够在数千 GPU 的大型集群中对完整的多跳路径进行评分。

OcNOS-DC 支持 400G 与 800G 的 leaf-spine fabric。 Tomahawk 5 spine 交换机（Edgecore AIS800-64D、UfiSpace S9321-64E）提供 51.2 Tbps / 64 × 800G； Tomahawk 4 leaf 运行 400G / 25.6 Tbps，采用片上缓存； Trident 4 适用于较小规模的 100G/400G fabric。参考设计涵盖 rail-only、rail 优化双层以及 rail 优化三层拓扑，适用于数千 GPU 规模的大型集群：请参阅 AI fabric 拓扑深度解析.

是的。DCBX 自动完成服务器到交换机的 RoCEv2 配置，ZTP（IPv4/IPv6）处理零接触上线，gNMI 通过 OpenConfig YANG 流式推送变更触发的遥测数据。PFC 暂停、ECN 标记、DCQCN 阈值和缓冲深度均为 gNMI 传感路径，可由 Prometheus、InfluxDB、Telegraf、Grafana 或任何 OpenTelemetry 管线消费。Ansible playbook 覆盖 Day-0 至 Day-2，Terraform provider 已列入路线图。IP Maestro 作为 OcNOS 的网元管理系统，通过 NETCONF 管理拓扑、故障、配置和软件镜像，并可从一个控制台管理大规模多站点设备群。

fabric 运行于 Edgecore 与 UfiSpace 经过验证的 Broadcom Tomahawk 4 与 5 交换机。800G spine（Edgecore AIS800-64D 与 UfiSpace S9321-64E，Tomahawk 5，64 x 800G QSFP-DD800，51.2 Tbps）可拆分为 400G、200G 与 100G；400G leaf（Edgecore AS9736-64D，Tomahawk 4，64 x 400G QSFP56-DD，25.6 Tbps，采用片上缓存）可拆分为 100G 与 25G。光模块已与多家厂商证实互通，请联系我们获取适用于您构建方案的光模块清单。交换平台均列于 HCL 中。

以 OcNOS Systems 形式采购 fabric 时，一份 IP Infusion 合同即可同时涵盖 OcNOS-DC 软件与经过验证的交换机硬件，因此只需对接一个 TAC 和一份 SLA。支持服务分为多个等级：Standard 包含邮件 TAC、工作时间电话支持与硬件 RMA 协调，P1 响应时间为 8 小时；Premium 增加 24/7 客户支持门户，P1 响应时间为 2 小时；Enterprise 进一步提供 30 分钟 P1 响应，并配备客户成功经理。24/7 门户面向 Premium 与 Enterprise 等级提供。