GPU 패브릭이란 무엇입니까?

GPU 패브릭은 서버와 파드 전반의 GPU를 상호 연결하여 하나의 학습 또는 추론 작업에서 함께 작동할 수 있게 하는 back-end 네트워크입니다. GPU가 collective 연산 중 교환하는 RDMA 트래픽을 전달하며, 관리 및 스토리지에 사용되는 front-end 네트워크와 분리되어 있습니다. 실제로 GPU 패브릭은 일반적으로 rail-optimized된 leaf-spine(Clos) 이더넷 네트워크로, 무손실 RoCEv2를 실행합니다. OcNOS-DC는 Broadcom Tomahawk 5 하드웨어에서 이를 제공합니다.

Scale-up은 GPU 서버와 그 긴밀하게 결합된 도메인 내부의 초고대역폭 인터커넥트로, 예를 들어 NVL72 랙 내부의 NVLink이며, GPU가 마치 하나의 큰 가속기처럼 테라비트 속도로 통신합니다. Scale-out은 서버와 파드 사이의 네트워크, 즉 이 페이지가 설명하는 GPU 패브릭으로, rail, leaf, spine, Clos 계층을 이더넷 위에 구축합니다. collective는 먼저 도메인 내부에서 scale-up을 사용한 뒤, scale-out GPU 패브릭이 서버 간 나머지를 전달합니다.

Most GPU fabrics use a rail-optimized leaf-spine design: each of a GPU server's 8 NICs connects to its own dedicated rail leaf, so the dominant same-rail AllReduce traffic stays on one leaf. As the cluster grows past a single pod, the same rail-optimized design adds a super-spine tier. On Tomahawk 5, a 2-tier fabric reaches 4,096 GPUs (GPU당 800G, 1:1 논블로킹). 그 이상은 세 번째 계층으로 다음 규모까지 확장됩니다: 최대 16,384 GPUs. See the rail-optimized network and AI fabric topologies pages.

예, GPU 플레인에서는 그렇습니다. GPU는 RoCEv2 위에서 RDMA로 데이터를 이동하며, 이는 패킷 손실 하에서 성능이 저하되므로, GPU 패브릭은 Priority Flow Control과 ECN으로 무손실로 설계되고 동적 로드 밸런싱으로 고르게 부하가 유지됩니다. 그 무드롭 동작이 collective의 정체를 막습니다. OcNOS-DC는 바로 이를 위해 Broadcom Tomahawk 5에서 PFC, ECN, Dynamic ECN, DLB를 공급합니다.