Dynamic Load Balancing: AI Fabric를 위한 혼잡 인지 경로 선택
AI 패브릭에서는 정적 해시 ECMP 대신 Dynamic Load Balancing을 사용하십시오. DLB는 패킷 간 간격으로 구분되는 하위 플로우 청크인 모든 플로우렛마다 경로를 재평가하며, 실시간 ASIC 이그레스 큐 깊이와 포트 활용률 텔레메트리를 사용하므로 GPU collective가 단일 업링크에서 충돌하지 않습니다. Broadcom Tomahawk 4 및 5의 스위치 ASIC에서 실행되며, NIC이나 collective 라이브러리 변경이 필요하지 않습니다.
leaf-spine 패브릭에서의 동적 로드 밸런싱
네 개의 spine과 두 개의 leaf 슬라이스가 GPU AllReduce 트래픽을 전달합니다. DLB는 로컬 이그레스 큐 깊이를 실시간으로 측정합니다. Spine-3이 포화되면 leaf는 다음 플로우렛을 부하가 적은 spine으로 재배치하여 네 개의 업링크를 모두 균형 있게 유지합니다.
정적 ECMP와 DLB, 항목별 비교
표준 ECMP는 플로우 시작 시 5-튜플을 해싱하고 플로우 수명 내내 고정합니다. 북-남 방향 웹 트래픽에서는 수백만 개의 단명 플로우가 경로 전반의 활용률을 고르게 합니다. AI 패브릭에서는 각각 400G 또는 800G 업링크 전체를 수 초 동안 점유하는 소수의 GPU 엘리펀트 플로우가 해시 충돌을 일으켜, 일부 업링크는 포화되는 반면 병렬 경로는 유휴 상태가 됩니다. DLB는 실시간 ASIC 텔레메트리를 사용하여 모든 플로우렛마다 경로를 재평가합니다.
| 구분 | 정적 ECMP해시 후 고정 | DLB혼잡 인지, 플로우렛별 |
|---|---|---|
| 경로 결정 | 플로우 시작 시 5-튜플을 한 번 해싱하고 플로우 수명 전체 동안 고정합니다. | 모든 플로우렛 경계에서 경로를 재평가하고 트래픽을 덜 혼잡한 업링크로 이동합니다. |
| 세분성 | 전체 플로우. 단일 해시 선택이 수 초 동안의 엘리펀트 플로우 트래픽을 좌우합니다. | 플로우렛: 작은 패킷 간 간격으로 구분되는 하위 플로우 청크로, 재정렬 없이 안전하게 재배치할 수 있습니다. |
| 혼잡 신호 | 없음. 해시는 실시간 링크 상태를 인식하지 못합니다. | 실시간 ASIC 이그레스 큐 깊이 및 포트 활용률 텔레메트리. |
| GPU 엘리펀트 플로우 하에서 | 해시 충돌: 두 개의 엘리펀트가 하나의 업링크에 몰리는 동안 다른 업링크는 유휴 상태가 될 수 있습니다. | 포화된 멤버는 후보 집합에서 제외되므로 업링크가 균형을 유지합니다. |
| 재정렬 위험 | 없음. 플로우가 고정되지만, 핫스팟과 테일 레이턴시 이상치를 대가로 합니다. | 실제로 없음. 패킷 간 간격 덕분에 RoCEv2와 TCP는 올바른 순차 전달을 받습니다. |
| NIC / collective 라이브러리 | 변경 없음. 표준 동작. | 변경 없음. 스위치 ASIC에서 실행되므로 RoCEv2 NIC과 xCCL 스택은 그대로 유지됩니다. |
| 하드웨어 | ECMP를 지원하는 모든 스위치. | 64x400G 및 64x800G 구성의 Broadcom Tomahawk 4(25.6T) 및 Tomahawk 5(51.2T). |
OcNOS DLB 구현
DLB는 컨트롤 플레인에 덧붙인 기능이 아닙니다. Broadcom 포워딩 파이프라인에서 실행되어, 실시간 혼잡 신호로 모든 ECMP 넥스트홉을 평가하고 하드웨어에서 플로우렛을 재배치합니다.
플로우렛 갭 타이머
ASIC 네이티브 플로우렛 비활성 타이머가 긴 엘리펀트 플로우를 TCP나 RoCEv2 재정렬 없이 경로 전반에 분산해도 안전한 청크로 분할합니다.
실시간 큐 깊이 피드백
DLB는 Tomahawk 파이프라인으로부터 이그레스 포트별 큐 점유율 및 링크 사용률 신호를 받아, 모든 ECMP 넥스트홉을 실시간으로 점수화합니다.
혼잡 인지 next-hop 선택
각 플로우렛 경계에서 가장 품질이 높은 멤버가 선택되므로, 포화된 spine은 후보 집합에서 제외됩니다.
TH4 / TH5 네이티브
64x400G 및 64x800G 포트 구성의 Broadcom Tomahawk 4(25.6T) 및 Tomahawk 5(51.2T) spine 플랫폼에서 인증되었습니다.
패브릭에서 DLB의 위치
DLB는 더 큰 개방형 이더넷 전송에서 단일 홉의 혼잡 인식 계층입니다. 무손실 RoCEv2 위에서 동작하며, OcNOS 7.1에서 제공 예정인 패브릭 전체 GLB가 이를 종단 간 점수 평가로 확장합니다.
다음은 패브릭 전체 스코어링
DLB가 로컬 넥스트홉을 평가하는 지점에서, GLB (OcNOS 7.1) 는 결정을 전체 leaf-spine 패브릭에 걸친 종단 간 경로 품질로 확장합니다.
NIC에서의 같은 아이디어
Ultra Ethernet 은 경로 분산을 NIC로 가져옵니다. 패킷 스프레이와 멀티패스 RDMA가 UEC 지원 NIC에서 하나의 플로우를 여러 경로로 분산합니다.
상용 AI 패브릭에서 DLB가 제공하는 효과
정적 ECMP가 과부하시키는 혼잡한 업링크에서 플로우렛을 회피시킴으로써, DLB는 대칭 leaf-spine 패브릭을 GPU collective 트래픽 하에서도 균형을 유지하는 패브릭으로 전환합니다.
- 활용도 향상. 플로우렛 재조정은 정적 ECMP가 과부하시키는 혼잡한 업링크에서 트래픽을 회피시키므로, 잘 운영되는 패브릭은 더 많은 업링크를 구매하지 않고도 동일한 하드웨어에서 90퍼센트 이상의 활용률을 목표로 할 수 있습니다.
- 테일 레이턴시 감소. 다른 링크가 유휴 상태로 있는 동안 어느 단일 링크도 포화되지 않으므로 collective 완료 시간이 단축됩니다.
- NIC 변경 불필요. DLB는 스위치 ASIC 안에 존재합니다. 기존 RoCEv2 NIC과 xCCL(NCCL, RCCL, oneCCL) collective 스택은 코드 변경 없이 올바른 순차 전달을 받습니다.
- PLUS 티어. DLB는 OcNOS-DC PLUS SKU에 포함되며, OcNOS-DC의 다른 기능과 동일한 지원 계약으로 제공됩니다.
동적 로드 밸런싱은 이더넷 AI 패브릭의 기본 조건입니다
정적 ECMP는 북-남 방향 웹 트래픽을 위해 만들어졌습니다. 패브릭이 GPU collective를 전달하기 시작하면, 동적 로드 밸런싱은 균형 잡힌 업링크와 정체된 학습 작업의 차이를 만들며, OcNOS는 오늘날 개방형 하드웨어에서 이를 제공합니다.
ECMP만으로는 충분하지 않습니다
소수의 엘리펀트 플로우가 정적 해싱을 무력화합니다. 해시 충돌은 일부 업링크를 포화시키는 반면 병렬 경로는 유휴 상태로 둡니다.
DLB가 라우팅 격차를 좁힙니다
플로우렛별 혼잡 인식 경로 선택은 collective 트래픽 하에서 이더넷 패브릭의 균형을 유지하며, 이는 InfiniBand가 우위를 가졌던 항목 중 하나입니다.
OcNOS가 조력자입니다
현재는 DLB, OcNOS 7.1에서는 GLB. Edgecore, UfiSpace 등 벤더의 인증된 개방형 하드웨어에서 실행되는 하나의 NOS로, NIC나 집합 통신 라이브러리를 변경할 필요가 없습니다.
Dynamic Load Balancing, 자주 묻는 질문
flowlet이란 무엇이며 DLB는 왜 이를 사용합니까?
DLB 는 정적 ECMP 와 어떻게 다릅니까?
DLB에는 새로운 NIC나 집합 연산 라이브러리의 변경이 필요합니까?
어떤 하드웨어가 OcNOS DLB를 지원합니까?
더 깊이 살펴보십시오. 자료를 소장하십시오.
제품 데이터시트와 이 페이지보다 한층 더 깊이 있는 간결한 기술 다운로드 자료입니다.
OcNOS-DC 데이터시트
OcNOS-DC 전체 사양: EVPN-VXLAN 및 Ethernet for AI 기능 세트, 소프트웨어 SKU, 지원 하드웨어 플랫폼, 솔루션 주문 가이드.
Datasheet 받기
OcNOS 800G 무손실 AI Fabric
Tomahawk 5 스파인 기반 무손실 RoCEv2 패브릭: SKU 등급, 인증된 플랫폼, 구축 아키텍처.
브리프 받기
EVPN-VXLAN 데이터센터 패브릭
EVPN-VXLAN 기반 리프-스파인 데이터센터 패브릭: 테넌트별 VRF 및 VNI, EVPN 멀티호밍, BGP unnumbered, 경로 타깃 필터링.
브리프 받기OcNOS-DC 데이터시트
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
OcNOS 800G 무손실 AI Fabric
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
EVPN-VXLAN 데이터센터 패브릭
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
OcNOS로 전체 AI 패브릭을 설계하십시오
비즈니스 사례부터 포트 수 계산까지, 구축 과정의 어느 단계에서든 이어서 진행하십시오.
GPU 패브릭에 맞춰 DLB를 튜닝하고 계신가요? 워크로드에 특화된 검토를 받아보십시오
GPU 규모와 collective 패턴을 알려주시면 IP Infusion 엔지니어가 함께 플로우렛 타이머와 경로 스코어링을 튜닝해 드리며, AI Fabric Design Suite에서 1차 leaf-spine 레이아웃으로 시작하실 수도 있습니다.