AI fabric 拓扑：可达 16K GPU 的 rail 优化设计
按 GPU 数量选择拓扑：rail 优化的两层 leaf-spine pod 最多支持 4,096 个 GPU，在此之上增加第三层 super-spine 可扩展至最多 16,384 个 GPU，并通过相干 DCI 跨站点互联。 选择能在集合通信期间让每个 GPU 链路保持饱和的最小无阻塞设计。三种设计都运行在基于无损 RoCEv2（PFC + ECN）L3 fabric 的 OcNOS-DC 上，本文以 Broadcom Tomahawk 4 和 Tomahawk 5 的真实端口数量给出规格。
契合您 GPU 数量的最小无阻塞设计
AI fabric 拓扑只有一个任务：在集合通信期间让每个 GPU 的出向链路保持饱和，同时不产生尾延迟离群值。合适的拓扑是能为您的 GPU 数量做到这一点的最小拓扑，并为更大一档规模保留回退路径。三个参考点，附 Broadcom Tomahawk 芯片上的具体端口测算。
双层 leaf-spine 在每 GPU 800G 下可达 4,096 个 GPU；1,024 个 GPU 的构建为 32 台 leaf 和 16 台 spine，共 48 台交换机。超过 4,096 个 GPU 后，增加 super-spine 层。同一份 OcNOS-DC 镜像运行于每一层，因此 fabric 随集群横向扩展，而无需在每一步重新设计。
正在为自己的集群做容量规划？ AI 网络设计套件 可快速给出初步估算：它为无阻塞双层 leaf-spine pod 设定规格，并在您跨入三层规模时给出提示。下方参考设计使用相同的无阻塞 leaf/spine 计算，并在 4,096 个 GPU 以上增加 super-spine 层，因此交换机数量与该工具一致。这里的 rail 优化是指 8-NIC GPU 服务器的布线原则（每台 leaf 对应一个 rail，使 rail 内 AllReduce 留在 leaf 上），叠加在该无阻塞 fabric 之上：它改变的是流量局部性，而非交换机数量。粗略估算用工具，实际构建用这些设计。
双层 pod、三层 fabric 与相干 DCI
三种参考拓扑涵盖单 pod、多 pod 和多站点 AI fabric，均基于 HCL 所列的 Broadcom 硬件确定规模。
rail 优化单 pod
每台 GPU 服务器的 8 块 NIC 落到 8 台专用 rail leaf 上，因此同 rail 的 AllReduce 始终留在一台 leaf 上，绝不穿越 spine。无阻塞 spine 承载跨 rail 流量。这是单 pod 可扩展单元，在 Tomahawk 5 上最多 4,096 个 GPU。
三层 rail 优化 fabric
leaf、spine 和 超级脊 层级使 fabric 超越 4,096 个 GPU，在参考设计中达到 16,384 个。每个 pod 内部无阻塞，由 super-spine 平面设定跨 pod 收敛比。每一跳均采用 DLB，GLB 在 OcNOS 7.1 中实现端到端。
相干多数据中心 DCI
当一次训练作业跨越多个机房时，用以下方式扩展 fabric： 400G ZR / ZR+ 相干光模块 ，置于 spine 上。站点之间无需转发器即可实现 DCI，站内 fabric 保持不变。
rail 优化单 pod
每台 GPU 服务器有 8 块 NIC，每个 rail 一块（一条专用的 xCCL（NCCL / RCCL / oneCCL）集合通信通道）。每个 rail 都是各自专用的 leaf，因此每台服务器上的 8 块 NIC 分别落到不同的 leaf 上。rail-N 上的 AllReduce 始终留在 leaf-N 内，因此在占主导的集合通信模式下，spine 上没有东西向压力。
OcNOS 组件： BGP-unnumbered L3 underlay，每台 leaf 上运行无损 RoCEv2（PFC + ECN），spine 层采用 DLB。构建于 HCL 收录的硬件之上：800G 可扩展单元采用 TH5 64x800G 的 leaf 和 spine（Edgecore AIS800-64D 或 UfiSpace S9321-64E）；入门级 256-GPU pod 采用 Edgecore AS9736-64D（TH4，64x400G）。
三层 rail 优化 fabric：4,096 个 GPU 以上
Tomahawk 5 上的双层 rail 优化 pod 在每 GPU 800G 下最多 4,096 个 GPU，此时 spine 端口耗尽。超出后，同样的 rail 优化设计增加第三层：leaf、spine、super-spine。任意两个 GPU 之间最多相隔四个交换机跳，同 leaf 和同 pod 的对端则更近。
Clos 上的难点在于把流量均匀分散，使任何链路都不成为热点。方法从每流 ECMP、到动态负载均衡、再到逐包喷洒不等，后者正是 Ultra Ethernet 采用的模型，由 NIC 处理乱序重排。另有一类做法，即 Broadcom DDC 等基于信元的调度式 fabric，把流量切分为信元并在 fabric 内部进行调度。OcNOS 用 DLB 保持 GPU 平面均衡，并在 OcNOS 7.1 中加入全 fabric 的 GLB。
此图为示意图：绘制的层级数量有所简化。16,384-GPU 构建在 TH5 800G 上为 512 台 leaf / 256 台 spine / 128 台 super-spine。
OcNOS 组件： eBGP-unnumbered L3 underlay、无损 RoCEv2（PFC + ECN）、每一层均采用 DLB、GLB 在 OcNOS 7.1 中实现端到端，以及向您的可观测性栈发送 gNMI 流式遥测。全程构建于 HCL 收录的 TH5 64x800G 机箱之上。
收敛比是一个可调旋钮，而非固定规则。 这些数量让每个 1,024-GPU pod 达到 1:1 无阻塞，并对跨 pod 流量采用成本优化的约 2:1 super-spine，这正是超大规模以太网 fabric 所依赖的 rail 优化做法（已公开的大规模设计对顶层的超额订阅要高得多，因为集合通信流量留在 pod 内部）。想要最大化的任意到任意余量？完全无阻塞的 1:1 构建在 16,384 个 GPU 时为 512 / 512 / 256；只有 spine 和 super-spine 的数量发生变化。两种方案均可在以下工具中建模： AI 网络设计套件.
多数据中心 AI fabric：相干 DCI
当一次训练作业跨越多个机房时（对万亿参数模型而言这日益普遍），fabric 会跨 WAN 延伸。OcNOS-DC 支持直接在 spine 上使用 400G ZR / ZR+ 相干光模块，实现跨站点、免转发器的 DCI。各站点内部的 fabric 保持不变。
OcNOS 组件： 在支持 DWDM 的 spine 或边界 leaf 端口上使用 400G ZR/ZR+ 可插拔相干光模块，并跨站点提供 gNMI 遥测。无需外部转发器。覆盖距离：400ZR 在放大后约达 120 km；OpenZR+ 借助 oFEC 可覆盖更远。
设计经验法则
无论您从哪种参考设计出发，寥寥数条规则就能让 AI fabric 处于性能与成本曲线的有利一侧。
- 使拓扑与 GPU 数量相匹配。 最小规模 pod（不超过单台 leaf 的 NIC 基数）：仅用 rail-only 即可。单 pod 规模，在 Tomahawk 5 上最多 4,096 个 GPU：采用 rail 优化的 leaf-spine。超出后：在同样的 rail 优化设计上增加 super-spine 层，pod 保持无阻塞，跨 pod 收敛比按工作负载设定。
- AI 平面始终保持 1:1 订阅比。 存储与 CPU 机架可承受更高的超额订阅比。GPU 平面则不应如此。
- 轨道数应依据 xCCL 规划,而非布线便利。 对 8-NIC GPU 服务器而言，8 个 rail 是当前事实上的标准。不要把多个 rail 合并到更少的 leaf 上。
- 按功耗和密度选择芯片，而非按品牌标识。 TH4（25.6T）和 TH5（51.2T）是主力芯片；二者之间的取舍在于机架功耗和 breakout 线缆成本。
- 对照 HCL 进行验证。 此处的每个参考方案均构建于所列硬件之上，详见 OcNOS 硬件兼容性列表；从那里开始即可获得一流支持。
AI fabric 拓扑常见问题解答
什么是 rail 优化拓扑，它与 rail-only 有何不同？
AI fabric 何时需要第三层？
我该用 Tomahawk 4 还是 Tomahawk 5？
我需要 InfiniBand，还是以太网就够了？
scale-up 在哪里结束，scale-out 又从哪里开始？
深入了解，随身带走。
产品数据手册，以及内容比本页更为深入的简明技术下载资料。
OcNOS-DC 数据手册
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开，请使用下方链接。
OcNOS 800G 无损 AI Fabric
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开，请使用下方链接。
EVPN-VXLAN 数据中心网络
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开，请使用下方链接。
正在设计您的 AI fabric？我们与您一起完成端口数量的测算。
告诉我们工作负载和 GPU 规模，IP Infusion 的工程师将与您一起为 leaf、spine 和 super-spine 层级设定规格，或先在 AI Fabric Design Suite 中生成一版初步布局。
用 OcNOS 设计整张 AI fabric
从商业论证到端口数量测算，无论您进行到哪一步，都可从此接续。