PFC · ECN · DCQCN

무손실 이더넷이란 무엇입니까?

무손실 이더넷은 선택된 트래픽 클래스, 일반적으로 RDMA가 혼잡 하에서 드롭되지 않도록 구성된 표준 이더넷입니다. Priority Flow Control(PFC)은 특정 우선순위 큐가 넘치기 전에 일시 정지시키고, Explicit Congestion Notification(ECN)은 송신 측이 속도를 낮추도록 패킷을 조기에 마킹하며, DCQCN은 스위치의 ECN 마킹을 NIC 전송률 제어에 연결합니다. RoCEv2는 이 무드롭 경로를 필요로 하며, OcNOS-DC는 Broadcom Tomahawk 5에서 이러한 제어를 제공합니다.

아키텍처 리뷰 예약하기 RoCEv2 패브릭 보기

No-dropRDMA 트래픽 클래스

3 controlsPFC · ECN · DCQCN

Tomahawk 5OcNOS-DC 무손실 스택

gNMI폐루프 텔레메트리

세 가지 제어

PFC, ECN, DCQCN, 그리고 이들이 계층화되는 방식

설계 의도는 사다리입니다. ECN과 DCQCN은 트래픽이 계속 흐르도록 큐를 얕게 유지하는 일상적 작업을 수행하고, PFC는 버스트가 이를 초과할 때만 개입하여 드롭하는 대신 우선순위를 잠시 일시 정지시킵니다. PFC를 끊임없이 발동하는 패브릭은 더 많은 PFC가 아니라 ECN 임계값 튜닝이 필요합니다.

최후의 방어선

Priority Flow Control (PFC)

PFC는 하나의 우선순위 큐를 홉 단위로 일시 정지시킵니다 버퍼가 넘치려 할 때 그렇게 하여 아무것도 드롭되지 않도록 합니다. 거칠고 빠르며, 일상적 제어가 아니라 최후의 방어선으로 사용됩니다.

PFC 데드락 보호

주 제어

Explicit Congestion Notification (ECN)

ECN은 큐가 쌓이기 시작하면 패킷을 마킹합니다. 수신 NIC이 송신 측에 신호를 보내고, 송신 측은 큐가 채워지기 전에 전송률을 낮춥니다. 세밀하고 지속적이며, 일상적 작업을 수행합니다.

The loop

DCQCN

DCQCN은 스위치의 ECN 마킹을 NIC의 전송률 제어에 연결합니다. 스위치의 역할은 ECN 마킹이고, NIC이 전송률을 조정합니다. 이 둘이 함께 PFC를 발동하지 않고 큐를 낮게 유지합니다.

DCQCN 전송률 제어

RDMA가 이를 필요로 하는 이유

RoCEv2가 무손실 경로를 요구하는 이유

RDMA는 무드롭 트랜스포트를 위해 만들어졌습니다. RoCEv2 는 RDMA를 UDP와 IP 위에서 전달하여 데이터센터 전반에서 라우팅할 수 있게 하지만, 손실에 대한 낮은 허용치를 물려받습니다. 단일 패킷 드롭이 테일 레이턴시를 급증시키는 복구를 강제하고 GPU collective를 정체시킬 수 있으며, 이는 전체 학습 스텝을 정체시킵니다.

PFC와 ECN으로 이더넷 경로를 무손실로 만들면 RoCEv2가 설계된 대로 동작합니다. 이것이 AI 패브릭에 무손실 이더넷이 존재하는 유일한 이유이며, 프로덕션 RoCEv2 GPU 패브릭이 항상 무손실로 구성된 네트워크에서 실행되는 이유입니다.

개방형 하드웨어에서

OcNOS-DC가 제공하는 것

Broadcom Tomahawk 5 플랫폼에서 OcNOS-DC는 전체 무손실 스택을 위한 조력자로, 추측이 아니라 클러스터 브링업 중 폐루프로 튜닝됩니다.

DCBX 및 LLDP를 갖춘 L3 상 PFC를 포함한 PFC, 그리고 PFC Deadlock Detection and Recovery.
ECN 및 Dynamic ECN, Enhanced Transmission Selection(ETS) 및 WRED와 함께.
패브릭 전반에 플로우를 분산하기 위한 버퍼 튜닝과 RTAG7 해싱.
폐루프 임계값 튜닝을 위해 gNMI 및 OpenConfig 텔레메트리를 통해 스트리밍되는 혼잡 및 큐 카운터.