400G・800G データセンター向け EVPN-VXLAN ファブリック

IP Infusion は、データセンターファブリック一式を提供します。検証済みの 400G および 800G スイッチに OcNOS-DC をプリロードし、EVPN-VXLAN、分散エニーキャストゲートウェイ、EVPN マルチホーミングを備え、一つのサポート契約でカバーします。スイッチを追加するだけで拡張できます。

600+OcNOS を運用する事業者
60+か国
18検証済みデータセンタースイッチ

ファブリックの仕組み

データセンターファブリックは、建物内のすべてのサーバーを接続します。リーフ・スパイン設計では、どのサーバー間も同じホップ数で結ばれます。EVPN-VXLAN により多数のテナントがファブリックを分離された状態で共有でき、デュアルホーム接続されたサーバーはリーフがダウンしても到達可能なままです。

EVPN-VXLAN リーフ・スパイン データセンターファブリック2 台のスパインが 3 台のリーフと 1 台のボーダーリーフに接続します。2 つのテナントのサーバーラックがリーフに接続し、ボーダーリーフがファブリックを WAN に接続します。イーサネットセグメントSpine-01Spine-02Leaf-01VTEPエニーキャストGWLeaf-02VTEPエニーキャストGWLeaf-03VTEPエニーキャストGW新しいリーフVTEPボーダーリーフEVPN L3 ゲートウェイダウンテナント Aテナント Bテナント A新しいラックWANワークロードが移動してもゲートウェイは同じ
テナント Aテナント B説明用の図

各テナントに専用の VRF と VNI を割り当てます。テナント間を通過できるのは、許可したプレフィックスのみです。

サーバーは 1 つのイーサネットセグメント上で 2 台のリーフに接続します。一方のリーフがダウンしても、ピアリンクなしでもう一方を経由してトラフィックが流れ続けます。MLAG にも対応しています。

EVPN マルチホーミング →

分散エニーキャストゲートウェイにより、ワークロードはアドレスを変更せずにラック間を移動できます。

EVPN-VXLAN →

サーバー用にリーフを、帯域幅用にスパインを追加します。ファブリックの他の部分はそのまま変わりません。

BGP アンダーレイ →

本番環境での稼働実績

ファブリックを OcNOS-DC に移行したデータセンター事業者。

Madeo Consultant(フランス)

Cisco Nexus と Catalyst スイッチを、Edgecore と UfiSpace 上の OcNOS に置き換えました。

"We are now delivering software as a service more efficiently, thanks to the increased performance and future-proofing achieved with IP Infusion's solution."

Francois Defrocourt 氏、ソリューションエンジニア

Scott Data(オマハ)

UfiSpace、Edgecore、Celestica 上で OcNOS を運用しています。リードタイムは数年から数週間に短縮されました。

"OcNOS and an open networking strategy hits all the right notes in terms of cost, support, and features."

Ken Moreano 氏、CEO

技術概要

ファブリックで OcNOS-DC が実行する機能です。詳細はリンク先をご覧ください。

OcNOS-DC データセンターファブリック技術概要
領域 OcNOS-DC 詳細解説
オーバーレイ レイヤー 2 とレイヤー 3 の EVPN-VXLAN:分散エニーキャストゲートウェイを備えた IRB と、テナントサブネット向けの EVPN プレフィックスルート(Type 5)。
アンダーレイ 拡張ネクストホップ対応の BGP unnumbered、VXLAN トラフィックの ECMP、高速障害検出のための BFD。
マルチホーミング デュアルホームサーバー向けの EVPN マルチホーミング(ピアリンク不要)。MLAG にも対応しています。
テナンシー テナントごとの VRF と VNI、VRF 間ルートリーキング、ルートターゲットフィルタリング、EVPN MAC 制限。
ボーダーと DCI ボーダーリーフでの EVPN レイヤー 3 ゲートウェイと VXLAN レイヤー 3 スティッチング。対応スイッチでは 400G OpenZR+ 光モジュールを使用できます。
セキュリティ ストーム制御、ARP ACL、ダイナミック ARP インスペクション、IRB インターフェース上の ACL。
可視化 OpenConfig モデルを使用した gNMI ストリーミングテレメトリ、SNMP による VXLAN 統計、VXLAN アクセスポートでの ERSPAN。
自動化 IPv4 および IPv6 での ZTP、Ansible、YANG モデルによる NETCONF。
ロスレストラフィック VXLAN ファブリック全体での RoCEv2 トラフィック向け PFC と ECN。

対応状況はスイッチのモデルによって異なります。各プラットフォームの対応状況は OcNOS 機能マトリクス でご確認ください。

役割別スイッチ

Edgecore と UfiSpace の検証済みデータセンタープラットフォーム 18 機種。

Edgecore AS9726-32DB 400G leaf switch

リーフとインターコネクトリーフ

Edgecore AS9726-32DB/UfiSpace S9300-32D

Broadcom Trident 4 · 12.8 Tbps · 400G

AS9726-32DB は、インターコネクト用の 400G OpenZR+ 光モジュールも搭載できます。

Datasheet →
Edgecore AS9736-64D 400G spine switch

スパイン(400G)

Edgecore AS9736-64D

Broadcom Tomahawk 4 · 25.6 Tbps · 64 x 400G

アンダーレイ ECMP と EVPN ルートリフレクション。ファブリックの規模に合わせたサイジング。

Datasheet →
Edgecore AIS800-64D 800G スパインスイッチ

スパインとスーパースパイン(800G)

Edgecore AIS800-64D/UfiSpace S9321-64E

Broadcom Tomahawk 5 · 51.2 Tbps · 64 x 800G

最大規模のファブリック向けの 800G スケールアウト。QSFP-DD800 光モジュールを使用します。

Datasheet →
Edgecore AS7726-32X 100G leaf switch

100G リーフ/ToR

Edgecore AS7726-32X/UfiSpace S9110-32X

Broadcom Trident 3 · 3.2 Tbps · 100G

25G および 100G サーバーラック向けのアクセスリーフ。

Datasheet →

光モジュール:マルチベンダーでの相互運用性を実証済みです。 トランシーバーのリストはお問い合わせください 。または 検証済みの全プラットフォームをご覧ください.

1 つのシステム、1 つの契約

OcNOS Systems として購入:スイッチ、OcNOS-DC、サポートを 1 社のベンダーから。

認定済みビルド

OcNOS-DC をプリロードし、スイッチモデルと ASIC ステッピングごとに認定済み。

一本化されたサポート窓口

1 つの PO、1 つのサポート契約、1 つの RMA 窓口。P1 の応答時間は 8 時間(Standard)から 30 分(Enterprise)まで。

ゼロタッチの Day 0

新しいスイッチは自身の設定を取得してファブリックに参加します。コンソールセッションは不要です。

Day 2 運用

gNMI、NETCONF、OpenConfig、Ansible。スイッチとソフトウェアはそれぞれのサイクルで更新できます。

2 つのサイト、1 つのルーテッドインターコネクト

ボーダーリーフが、400G OpenZR+ を介して 2 つのファブリックをレイヤー 3 で接続します。

ルーテッド 400G OpenZR+ インターコネクトで接続された 2 つのデータセンターファブリックサイト A とサイト B は、それぞれ EVPN-VXLAN リーフ・スパインファブリックを運用しています。各サイトのボーダーリーフがファブリックをレイヤー 3 でスティッチし、サイト間の 400G OpenZR+ リンクを点灯させて、各テナントのルートを EVPN Type-5 ルートとして伝送します。サイト Aサイト B400G OpenZR+EVPN Type-5 ルートリーフ A1VTEPリーフ A2VTEPスパイン Aアンダーレイボーダー AL3 ゲートウェイボーダー BL3 ゲートウェイスパイン Bアンダーレイリーフ B1VTEPリーフ B2VTEP● テナント A● テナント B

レイヤー 3 スティッチ

各ボーダーリーフが自サイトの VXLAN ドメインを相手サイトにスティッチします。フラットなレイヤー 2 延伸は行いません。

テナントごとのルート

EVPN Type-5 ルートが各テナントのプレフィックスを伝送します。両サイトにわたって分離が維持されます。

トランスポンダー不要

スイッチポートに挿した 400G OpenZR+ 光モジュールが波長を点灯させます。

よくあるご質問

EVPN-VXLAN leaf-spineデータセンターファブリックは、スイッチを追加して拡張するスケールアウトネットワークです。すべてのleafはVXLANトンネルエンドポイントであり、BGPがleafとspine間のアンダーレイを運び、EVPNがMACおよびIPホストルートとIPプレフィックスをアドバタイズするため、ファブリックはフラッディングではなく学習済みコントロールプレーンから転送します。IP Infusionはこれを1つのシステムとして提供します:スイッチ、プリロード済みOcNOS-DC、1つのサポート契約に、分散エニーキャストゲートウェイ、EVPNマルチホーミング、マルチテナントVRF分離を備えます。
各テナントは独自のVXLANネットワーク識別子(VNI)のセットを持ちます。Layer 2 VNIがブリッジトラフィックを、Layer 3 VNIがテナントごとのVRF内のルーテッドトラフィックを収容します。トラフィックはVNIごとにカプセル化されVRF内でルーティングされるため、あるテナントが共有ファブリック上で別のテナントを見ることはできません。二つのテナントが相互に到達する必要がある場合、EVPN-VXLAN上のVRF間ルートリーキングは許可した特定のプレフィックスのみを通すため、分離が既定のまま維持され、共有は明示的になります。
EVPN マルチホーミングでは、サーバーを 1 つの Ethernet セグメント(ESI)上で 2 台以上のリーフに、シングルアクティブまたはポートアクティブのモードで接続できます。リーフやリンクに障害が発生すると、サーバーのトラフィックはもう一方のリーフに移ります。シグナリングはすべて EVPN コントロールプレーンで行われるため、専用のピアリンクやリーフ間の独自のペアリングは不要です。これに対し MLAG は、ピアリンクで 2 台のスイッチをペアにし、アクティブ/アクティブで動作します。OcNOS-DC は両方をサポートしているため、両方のリンクで同時に転送したい設計では MLAG を使用できます。
各ファブリックのボーダーリーフが 2 つの VXLAN レイヤー 3 ドメインをステッチし、各ファブリックは自らのテナント IP プレフィックスを EVPN IP プレフィックスルートとして相手側へアドバタイズします。その際、テナントごとの VRF 分離がサイト間で維持されます。トランスポートには、Edgecore AS9726-32DB やインターコネクト向けにすでに導入済みのサービスプロバイダールーターなど、ZR+ 対応スイッチ内の 400G OpenZR+ コヒーレント光学が、QSFP-DD ポートで波長を直接発光するため、個別のトランスポンダーは不要です。その背後では 800G Tomahawk 5 スイッチがファブリックを運びます。光学の詳細についてはルーテッドオプティカルソリューションを、コヒーレントリーチの計算についてはコヒーレント DCI テクノロジーページをご覧ください。
はい、EVPN-VXLAN leaf-spineファブリックに対応。OcNOS-DCはマーチャントシリコンスイッチ上で同じファブリック機能を動作:分散anycastゲートウェイ併用のEVPN-VXLAN、EVPNマルチホーミング、BGP-unnumberedアンダーレイ、マルチテナントVNI、運用向けのgNMIおよびNETCONF対応ZTP。IP Infusionはスイッチ、ソフトウェア、サポートを単一契約のもと1つのシステムとして提供します。ハードウェアは複数のオープンハードウェアベンダーから調達し、スイッチとソフトウェアを独立したサイクルで刷新可能。
新しいスイッチはZero Touch Provisioningを通じて起動し構成を取得するため、コンソールセッションなしで箱から本番leafへと立ち上がります。そこからファブリックは、gNMI経由のストリーミングテレメトリ、NETCONFおよびOpenConfigモデル、Ansibleで運用され、同じモデルでEVPNとVXLANの状態をコードとして投入し検証します。IP Infusionは、OcNOS-DCをプリロードし検証済みベースラインを備えたスイッチを出荷するため、Day 0イメージはすべてのleafとspineで一貫します。

エンジニアと一緒にファブリックを設計

ラック、テナント、サイトの構成をお聞かせください。検証済みスイッチと照合します。