PFC 데드락 감지 및 복구
PFC 데드락은 무손실 패브릭을 무기한 멈추게 할 수 있는 유일한 장애입니다. 일시 정지된 우선순위 큐가 서로를 기다리는 순환 버퍼 종속성입니다. OcNOS-DC 워치독은 포트별·우선순위별로 동작합니다. Broadcom Tomahawk 4 및 Tomahawk 5에서 일시 정지된 큐 순환을 감지하고 작업이 멈추기 전에 큐를 자동으로 비웁니다.
3-스위치 일시 정지 순환
순환 종속성에 있는 세 개의 스위치. 각각이 자체 무손실 우선순위 큐에서 일시 정지되어 다음 스위치가 큐를 비우기를 기다립니다. 개입이 없으면 이 순환은 영원히 안정적으로 유지됩니다. OcNOS 워치독은 구성된 타임아웃 후 작동하여 Switch-A의 큐 3을 비우고, 순환이 붕괴됩니다.
PFC가 데드락을 유발하는 방식
PFC는 RoCEv2를 무손실로 만드는 요소이며, 정상적인 토폴로지에서는 결코 문제를 일으키지 않습니다. 이 장애 모드는 멀티패스 패브릭에서 일시 정지된 큐 순환이 닫힐 때만 나타납니다.
PFC는 홉 단위 일시 정지입니다. 스위치는 무손실 인그레스 큐가 임계값을 넘어 채워지면 상류에 일시 정지를 발동하고, 상류는 전송을 멈춥니다. 흐름 방향이 단일한 트리 토폴로지에서는 이것이 안전합니다. 여러 경로를 가진 leaf-spine 패브릭에서는 링크 장애를 우회하는 ECMP 리라우팅이 특정 조건에서 모든 스위치가 다음을 기다리며 일시 정지되는 순환 경로를 만들 수 있습니다. 일시 정지된 우선순위 큐가 서로를 기다리는 그 순환 버퍼 종속성이 PFC 데드락입니다.
순환이 일단 형성되면 안정적입니다. 일시 정지된 프레임을 담을 충분한 버퍼가 있고, 라우팅 프로토콜은 모든 것이 수렴되었다고 믿으며, PFC는 모든 스위치에서 계속 일시 정지를 재발동합니다. 개입이 없으면 영향을 받는 무손실 우선순위는 무기한 멈춥니다. RoCEv2 트래픽이 멈추고, xCCL(RCCL, oneCCL) collective가 타임아웃되며, 학습 작업이 정체됩니다.
OcNOS-DC 워치독
일시 정지된 큐 순환을 감지하고 작업이 멈추기 전에 영향받는 큐를 비운 뒤 스스로 정상 PFC를 복원하는 포트별·우선순위별 타이머입니다. 감지, 복구, 복원이 핵심 삼중 요소이며, 텔레메트리, 튜닝, 라이선싱이 이를 마무리합니다.
포트별, 우선순위별 타이머
인그레스 포트별·무손실 우선순위별로 타이머가 실행됩니다. 우선순위가 구성된 간격(일반적으로 100~400 ms) 동안 지속적으로 일시 정지되면 워치독이 작동합니다.
자동 큐 드레인
이상 발생 시 해당 ingress 큐가 드레인되며: 사이클을 차단하기 위해 프레임이 일시적으로 드롭됩니다. 드롭된 프레임은 xCCL 집합 통신 재전송을 유발하지만, 대안은 무기한 행(hang) 상태입니다.
복구 후 자동 복원
구성된 복구 간격이 지나면 해당 priority에서 정상적인 PFC 동작이 재개됩니다. 운영자 개입이 필요 없으며, 패브릭은 수 초 내에 lossless 상태로 복구됩니다.
gNMI 카운터
Watchdog 발동 이벤트, drain duration, priority별 pause 카운터가 gNMI로 스트리밍되어 폐루프 fabric 모니터링을 지원합니다. SRE는 deadlock 이벤트를 소리 없는 학습 중단이 아니라 알림으로 확인합니다.
운영자가 구성 가능한 타이머
Detection timeout, drain duration, restore interval은 포트별, priority별로 CLI에서 구성할 수 있습니다. 기본값은 대부분의 fabric에 적합하며, 운영자는 중요도가 높은 클러스터에서 타이머를 단축할 수 있습니다.
DC-PLUS 라이선스 등급
나머지 무손실 RoCEv2 스택과 함께 OcNOS-DC PLUS SKU의 일부입니다. Broadcom Tomahawk 4 및 Tomahawk 5 플랫폼에서 검증되었습니다.
워치독은 나머지 무손실 스택 아래의 안전망입니다
가장 좋은 데드락은 결코 형성되지 않는 데드락입니다. 혼잡 제어, 그것이 보호하는 무손실 트랜스포트, 그리고 적응형 라우팅 모두가 애초에 큐를 일시 정지 임계값에서 멀어지게 유지하며, 워치독은 그것들이 실패했을 때의 마지막 방어선입니다.
혼잡 제어
DCQCN 인그레스 큐가 PFC 임계값까지 채워지기 전에 ECN으로 플로우를 마킹하고 조절하므로, 일시 정지가 훨씬 덜 발동되고 순환이 닫힐 기회가 거의 없습니다.
무손실 트랜스포트
RoCEv2 는 PFC가 보호하기 위해 존재하는 RDMA 트랜스포트입니다. 워치독은 대규모에서 RoCEv2를 무손실로 운영하는 것을 이론적으로 위험한 일이 아니라 안전한 일로 만듭니다.
적응형 라우팅
DLB 서브 밀리초 단위의 윈도우에서 플로우렛을 혼잡한 업링크에서 재배치하여 부하를 분산하므로, 인그레스 큐가 일시 정지를 유발하는 임계값에 도달할 가능성이 줄어듭니다.
드물다는 것이 결코 없다는 뜻은 아니며, 그것이 핵심입니다
적절한 토폴로지와 라우팅을 갖춘 잘 설계된 패브릭에서 PFC 데드락은 드물며, 대부분의 사업자는 수년간 운영하면서도 한 번도 겪지 않습니다. 워치독이 중요한 이유는 그 조건이 여전히 발생할 수 있고, 발생했을 때 그 차이가 수 시간 단위로 측정되기 때문입니다.
무엇이 이를 유발하는가
라우팅 컨버전스 윈도우 중의 링크 장애, 단일 포트에서의 PFC 우선순위 오구성, 또는 비정상적인 트래픽 패턴에서의 일시적 혼잡 이벤트가 모두 그 조건을 만들 수 있습니다.
워치독이 없으면
데드락이 형성되면 AI 클러스터가 멈추고, 운영 팀은 라우팅 프로토콜이 정상이라고 보고하는 멈춤을 추적하며 수 시간의 디버깅에 직면합니다.
워치독이 있으면
정체된 작업 대신 짧은 재전송 버스트와 기록된 이벤트를 얻습니다. AI Fabric Sizing Tool로 데드락을 드물게 유지하는 토폴로지와 스위치 계층을 설계하십시오.
워치독이 대규모에서 PFC 배포를 안전하게 만드는 이유
이는 무손실 이더넷에 대한 유일한 이론적 반론을, 기존 관측성 스택이 이미 확인하는 기록되고 자체 해소되는 이벤트로 전환합니다.
- 무손실 안전망. watchdog은 "상용 AI 패브릭에서 PFC는 이론적으로 위험하다"와 "PFC는 대규모로 안전하게 도입할 수 있다"를 가르는 핵심 요소입니다.
- 1초 미만 복구. 감지, 비움, 복원은 일반적으로 1초 이내에 완료됩니다. xCCL은 작은 윈도우의 RDMA 트래픽을 재전송하고, 작업은 계속됩니다.
- 표준 구성. 워치독은 OcNOS-DC 무손실 템플릿에서 기본적으로 활성화되어 있습니다. 켜는 것을 기억할 필요가 없습니다.
- Observable. 모든 작동은 기존 관측성 스택과의 폐루프 모니터링을 위해 기록되고 집계되며 gNMI를 통해 스트리밍됩니다.
- 중요도에 맞춰 조정 가능. 핵심 학습 클러스터에서는 타이머를 낮추십시오. 일반 DC 패브릭에는 기본값이 적합합니다. 다음을 참조하십시오 기능 매트릭스의 PFC and the 검증된 하드웨어 목록.
PFC 데드락, 자주 묻는 질문
PFC 데드락은 무엇 때문에 발생합니까?
OcNOS의 PFC 워치독은 어떻게 fabric을 복구합니까?
watchdog는 트래픽을 폐기합니까?
PFC 데드락 워치독은 기본적으로 활성화되어 있습니까?
더 깊이 살펴보십시오. 자료를 소장하십시오.
제품 데이터시트와 이 페이지보다 한층 더 깊이 있는 간결한 기술 다운로드 자료입니다.
OcNOS-DC 데이터시트
OcNOS-DC 전체 사양: EVPN-VXLAN 및 Ethernet for AI 기능 세트, 소프트웨어 SKU, 지원 하드웨어 플랫폼, 솔루션 주문 가이드.
Datasheet 받기OcNOS 800G 무손실 AI Fabric
Broadcom Tomahawk 4/5 스파인 기반의 논블로킹 RoCEv2 fabric: SKU 등급, 검증된 플랫폼, 도입 아키텍처를 다룹니다.
브리프 받기EVPN-VXLAN 데이터센터 패브릭
통신사업자급 leaf-spine 데이터센터 패브릭: 대칭 IRB, Type-2/Type-5 경로, 그리고 분산 애니캐스트 게이트웨이.
브리프 받기OcNOS-DC 데이터시트
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
OcNOS 800G 무손실 AI Fabric
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
EVPN-VXLAN 데이터센터 패브릭
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
새 패브릭에서 무손실 동작을 검증하고 계신가요? 워치독부터 시작하십시오
워크로드와 GPU 규모를 알려주시면 IP Infusion 엔지니어가 함께 무손실 설계를 검토해 드리며, AI Fabric Design Suite에서 1차 leaf-spine 레이아웃으로 시작하실 수도 있습니다.
OcNOS로 전체 AI 패브릭을 설계하십시오
비즈니스 사례부터 포트 수 계산까지, 구축 과정의 어느 단계에서든 이어서 진행하십시오.