400G 和 800G ZR / ZR+ 相干 DCI

当 AI 集群跨越多栋建筑或多个站点时,站点之间的链路过去需要在两端各设置一个转发器机架。借助 400G 和 800G ZR 与 ZR+ 相干可插拔模块,相干接口可直接插入 spine 端口。OcNOS-DC 在经认证的交换机上支持这两种速率,并在平台支持时由 EVPN inter-DC 跨链路承载租户流量。

两张网络,一种光模块

每台 spine 在其中一个端口中安装 400G 或 800G ZR 或 ZR+ 相干模块。光纤直接接入城域 / 长距离 DWDM 线路系统。在平台支持的情况下,EVPN inter-DC 隧道跨链路承载 VXLAN 租户流量,并与两侧的 OcNOS-DC 网络保持一致。

AI 数据中心之间的 400G 和 800G ZR/ZR+ 相干 DCI 左右两侧各一个 AI 数据中心方框,每个方框中都有 spine 和 leaf 交换机。两台 spine 通过一条 400G 或 800G ZR/ZR+ 相干可插拔光链路相连,链路以跨越间隙的波形表示。EVPN inter-DC 隧道符号叠加在链路上。底部条带列出 DCI 的主要特性。 数据中心 A · AI POD 数据中心 B · AI POD Spine-AZR / ZR+ 端口 Spine-BZR / ZR+ 端口 400G / 800G ZR / ZR+ 相干 · DWDM 线路 EVPN 跨数据中心隧道 Leaf-A1 Leaf-A2 Leaf-A3 Leaf-B1 Leaf-B2 Leaf-B3 GPU pod · 站点 A GPU pod · 站点 B 400G / 800G 相干可插拔 · 无需转发器 · OPENZR+ · EVPN INTER-DC

相干可插拔光模块为何改变了 DCI 的经济性

在相干可插拔光模块出现之前,任何超过约 10 km 的 inter-DC 链路都需要一台转发器:位于交换机与线路系统之间的独立光设备。这意味着每个站点要多一台设备、多一层厂商关系、多一套备件,以及管理独立光层所带来的运维复杂度。 相干可插拔模块将上述一切收纳进一个可直接装入 spine 端口的模块中。

如今有两种形态值得关注。 400G ZR 覆盖最长约 120 km 的无放大或单放大城域光纤,非常适合同一城域内的两座 AI 机房。 400G ZR+ (遵循 OpenZR+ MSA)支持更高的发射功率、FEC 调整和更多调制模式,可覆盖更长距离或经过外部放大器与 ROADM 系统的链路。两者可插入同一个 QSFP-DD 笼位,选择取决于链路预算。在 800G 上,OIF 800ZR 用于城域链路,800G OpenZR+ 规范用于更长距离的放大链路。

ZR 与 ZR+ 一览

400G ZR: OIF 400ZR

城域 DCI(≤ 约 120 km)

行业标准的 400G 相干:城域短距、固定配置、更低的每端口成本。适用于同一城域区域内的两座 AI 机房。

400G ZR+: OpenZR+ MSA

长距离/放大 DCI

从 16-QAM 到 QPSK 的可调调制、更高的发射功率以及用于更长距离的 oFEC。传输距离取决于线路系统、放大和调制方式。适合区域之间的链路。

800G ZR 与 ZR+

每端口速率翻倍

每端口 800G 下提供同样的城域与放大选项。在 OcNOS-DC 中,Tomahawk 5 的 Edgecore AIS800-64D 和 UfiSpace S9321-64E spine 可安装 800G ZR 和 OpenZR+ 模块。

跨域扩展:一个 GPU 集群,多个站点

大型训练集群所需电力已超出单栋建筑的供电能力,因此运营商将多栋建筑和多个站点中的 GPU 网络连接为一个集群。每类链路都有各自的光模块和 OcNOS 角色。

园区

同一站点内的建筑

机房与建筑之间数公里的链路。400G 和 800G 灰光模块直接连接各 spine。

城域

同一城域内的站点

用于城域距离的 spine 端口 400G 或 800G ZR,无需转发器机架。

区域

区域之间

经放大 DWDM 线路系统传输的 400G 或 800G ZR+。当链路在区域之间路由时,OcNOS-SP 运行于具备 SR-MPLS、EVPN 和 BGP 的深缓冲 Jericho 2C+ 与 Qumran 2C 路由器上。

OcNOS-DC 实现方案

spine 端口中的 ZR

Edgecore AS9736-64D(Tomahawk 4)、Edgecore AS9726-32DB 和 UfiSpace S9300-32D(Trident 4)支持 400G ZR 和 OpenZR+。Edgecore AIS800-64D 和 UfiSpace S9321-64E(Tomahawk 5)支持 800G ZR 和 OpenZR+。

从交换机管理

OcNOS 配置相干可插拔模块,并通过 CLI、SNMP 和流式遥测报告其数字诊断信息。

路由链路上的拥塞信号

ECN 标记在每一款经认证的 OcNOS-DC 交换机的路由接口上运行,因此支持 DCQCN 的网卡可以检测站点之间路由链路上的拥塞。BGP 会话上的 BFD 可检测路径故障。

租户隧道扩展

在平台支持的情况下,VXLAN VNI 和 EVPN 路由会跨相干链路传播,将租户的 L2 和 L3 服务扩展到两个网络。

相同的 NOS,相同的技能

对 OcNOS-DC 而言,DCI 链路只是另一个路由接口。BGP、BFD 和路由策略的配置方式与 400G 或 800G 灰光端口相同。

经证实具备互操作性的光模块

在 Hardware Compatibility List 所列平台上已实证多厂商互通的可插拔光模块。

这为 AI 架构师带来的价值

  • 无需转发器机架。 光接口就在 spine 端口中。
  • 单端口容量。 每个 spine 端口一条 400G 或 800G 相干链路,可绑定多条链路以提升站点之间的容量。
  • 标准 EVPN 跨 DC 互联。 在平台支持的情况下,您在网络内部使用的同一套 EVPN 工具即可跨 WAN 承载租户,无需学习新的控制平面。
  • 整条链路使用同一个 OcNOS 系列。 spine 上运行 OcNOS-DC,区域之间的路由器上运行 OcNOS-SP。

正在为 AI fabric 设计跨 DC 互联?

申请技术演示 →

常见问题

什么是采用 ZR 与 ZR+ 光模块的相干 DCI?
相干 DCI 是基于 400G 或 800G ZR 与 ZR+ 相干可插拔光模块构建的数据中心互联,光模块直接插入交换机端口。由于相干接口位于可插拔模块内,长距离链路不再需要在交换机与光线路系统之间设置独立的转发器机架。
什么是 AI 网络中的跨域扩展?
跨域扩展是将不同建筑、园区或区域中的 GPU 网络连接为一个集群,通常是因为单个站点无法提供足够的电力。这些链路经过路由,跨度从数公里到数百公里不等,因此依赖 ZR 和 ZR+ 等相干光模块,以及可跨距离工作的路由和拥塞信号。在 OcNOS 中,spine 运行 OcNOS-DC 并直接承载 ZR 和 ZR+ 链路,OcNOS-SP 则运行于区域之间的深缓冲路由器上。
400G ZR 与 400G ZR+ 有什么区别?
400G ZR(OIF 400ZR 实施协议)是固定配置的城域光模块,覆盖约 120 km,适合同一城域内的两个机房。400G ZR+ 遵循 OpenZR+ MSA,具备可调调制(从 16-QAM 到 QPSK)、更高的发射功率和 oFEC,适用于更长的放大链路。在 400G 上,ZR 与 ZR+ 共用同一个 QSFP-DD 笼位。在 800G 上,OIF 800ZR 与 800G OpenZR+ 规范遵循同样的划分。选择取决于链路预算。
哪些 OcNOS 平台支持 ZR 与 ZR+ 光模块?
根据 OcNOS Feature Matrix,OcNOS-DC 在 Edgecore AS9716-32D(Tomahawk 3)、Edgecore AS9736-64D(Tomahawk 4)、Edgecore AS9726-32DB 和 UfiSpace S9300-32D(Trident 4)上支持 400G ZR 和 OpenZR+,在 Edgecore AIS800-64D 和 UfiSpace S9321-64E(Tomahawk 5)上支持 800G ZR 和 OpenZR+。OcNOS-SP 在七款路由器上支持 400G ZR 和 OpenZR+,包括基于 Jericho 2C+ 的 Edgecore AS9947-36XKB 和 UfiSpace S9610-36D。支持情况取决于平台和 OcNOS 版本,请在 Feature Matrix 中查看您的 SKU。
相干 DCI 是否仍然需要转发器?
不需要。相干光模块置于 spine 交换机端口本身之中,因此转发器机架、其单独的供应商关系、备件以及光层 OSS 均不再需要。来自可插拔模块的光纤直接向 metro 或长距 DWDM 线路系统供给信号。
OcNOS 如何管理相干可插拔模块?
OcNOS 从交换机配置相干可插拔模块,并通过 CLI、SNMP 和流式遥测报告其数字诊断信息,例如模块温度。
租户流量如何穿越相干 DCI 链路?
在平台支持的情况下,EVPN inter-DC 承载流量。VXLAN VNI 与 EVPN 路由在相干链路上传播,使两个 OcNOS-DC fabric 在租户的 Layer 2 与 Layer 3 服务上表现为一个扩展的 fabric,并使用与 fabric 内部网络相同的 EVPN 工具链。
连接 AI 数据中心有哪些光传输方案?
两座运行 AI 网络架构的数据中心,可以通过传统光传输系统连接,即在交换机和线路系统之间设置独立的转发器机架,也可以通过 coherent DCI 连接,将 400G ZR 或 ZR+ 可插拔模块直接安装在脊柱交换机端口中,直接馈入 DWDM 线路系统。coherent DCI 省去了转发器机架及其独立的供应商关系。OcNOS-DC 驱动该可插拔模块,并通过 EVPN inter-DC 在链路上承载租户流量,使两个网络架构如同一体运行。
哪些 DCI 平台支持开放且可互操作的传输?
开放式相干 DCI 运行在端口可接受符合标准的 400G ZR 和 OpenZR+ 可插拔模块的交换机上,因此光模块可在多个厂商之间互操作,并能以外来波长方式在第三方 ROADM 上传输。IP Infusion 在运行 OcNOS 的经认证开放硬件上提供这一能力,可插拔模块从交换机进行配置。由于光模块和线路系统保持开放,传输层可以通过多厂商竞争方式采购。