动态负载均衡:面向 AI Fabric 的自适应路由
静态哈希 ECMP 是为南北向 Web 流量而设计的,并非为 GPU 集合通信。OcNOS 动态负载均衡(DLB)以亚毫秒级间隔将 flowlet 重新分配到较不拥塞的路径上,为分布式训练工作负载弥合以太网与 InfiniBand 之间的差距。
Leaf-Spine fabric 上的自适应路由
一个承载 GPU AllReduce 流量的 4-spine、2-leaf 切片。DLB 实时测量本地 egress 队列深度。当 Spine-3 饱和时,leaf 会将下一个 flowlet 重新绑定到 Spine-2,使全部四条上行链路保持均衡。
为什么静态 ECMP 在 AI 网络中会失效
标准 ECMP 在流开始时对五元组进行哈希以选择出端口,并在该流的整个生命周期内将其固定在该端口上。对于南北向 Web 流量而言,数百万条短生命周期的流让大数定律得以在各条路径间平滑利用率。而在 AI fabric 上,你面对的却是少量的 大象流 源自 GPU 集合通信(AllReduce、AllGather、All-to-All),其中每一项都会在数秒内持续占满一整条 400G 或 800G 上行链路。两头被哈希到同一条上行链路上的“大象流”将在整个操作期间发生冲突,而另一条上行链路却处于空闲状态。
The result is hash polarisation: measured fabric utilisation around 50-60% with random hot-spots, and tail-latency outliers that stall the entire training job. DLB closes this gap by re-evaluating the path decision on every flowlet, a sub-flow chunk delimited by a small inter-packet gap, using live egress queue-depth and port-utilisation telemetry from the ASIC. To size a leaf-spine fabric for your GPU cluster, use the AI Fabric 定量工具.
OcNOS DLB 实现
亚毫秒级间隔计时器
ASIC-native flowlet inactivity timer (typical 16-256 µs) splits long elephant flows into chunks safe to spray across paths without TCP/RoCEv2 reordering.
实时队列深度反馈
DLB 从 Tomahawk 流水线获取各出端口的队列占用率与链路利用率信号,实时为每条 ECMP 下一跳评分。
自适应下一跳选择
在 flowlet 边界处,选择质量最高的成员。成员质量每隔几微秒重新计算一次,因此饱和的 spine 会在一个 flowlet 内退出候选集。
与 PFC 和 ECN 协同调优
DLB 与 RoCEv2 无损协议栈(PFC、ECN/DCQCN、缓冲余量计算)集成,因此 flowlet 重新绑定会在暂停帧向上游传播之前完成。
gNMI 导出
逐成员重绑定计数、flowlet 间隔分布与成员质量评分通过 gNMI dial-out 流式上报,用于闭环织构调优。
TH4 / TH5 原生
已在 Broadcom Tomahawk 4(25.6T)和 Tomahawk 5(51.2T)骨干平台上完成验证,支持 64×400G 和 64×800G 端口配置,且不会带来软件快转路径性能损失。
DLB 在生产环境 AI fabric 中带来的价值
- 更高的利用率。 业界公布的 flowlet 再平衡基准测试表明,在同一硬件上,fabric 利用率可从静态 ECMP 的约 55% 提升至 90% 以上,且无需增购上行链路。
- 更低的尾延迟。 由于不会出现单条链路饱和而其他链路闲置的情况,P99.9 集合通信完成时间得以收紧。
- 更快的训练。 减少 GPU 等待最慢 rank 的空闲时间,意味着在 AllReduce 密集型工作负载上实现可量化的实际运行时间提升。
- 无需更换 NIC。 DLB 在交换机 ASIC 中实现。现有 RoCEv2 NIC 与 xCCL (NCCL / RCCL / oneCCL) 集体通信栈无需改动代码即可获得正确的有序交付。
- 一张许可证。 DLB 是 OcNOS-DC PLUS SKU 的一部分:同一镜像、同一支持合同,无需按功能额外付费。
正在为你的 GPU fabric 调优 DLB?
申请技术演示 →常见问题
什么是 flowlet,DLB 为何要使用它?
DLB 与静态 ECMP 有何不同?
DLB是否需要新的NIC或对我的集合通信库进行更改?
哪些硬件支持 OcNOS DLB?
深入了解,随身带走。
两份简短的技术下载资料,其内容比本页更为深入:lossless 800G AI fabric 架构与 EVPN-VXLAN data center 参考设计。
OcNOS 800G 无损 AI Fabric
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开,请使用下方链接。
Solution_Brief-OcNOS_800G_Ethernet-Based_Lossless_AI_Fabric.pdfEVPN-VXLAN 数据中心网络
表单简短。提交后您的 PDF 将立即在新标签页中打开。
✓ 正在新标签页中打开您的 PDF……
如果未能自动打开,请使用下方链接。
OcNOS-modernize-your-data-center-EVPN-VxLAN_Solution-Brief.pdfDesign the whole AI fabric with OcNOS
From the business case to the port-count maths, pick up wherever you are in the build.