公式アカウントに注目して「220427」と返信してダウンロードしてください

《Aquila: データセンターネットワーク向けの統合された低遅延ファブリック》

将来の DC データセンターの最終目標は、ほぼ無制限のコンピューティング能力とストレージリソース、超大規模な帯域幅、超低遅延を備えたスーパーコンピューターとなり、その上で無数の仮想マシンやコンテナなどのクラウドコンピューティングプラットフォームを実行することです。Google は最近、Aquila ネットワークアーキテクチャに関する記事をリリースしましたが、今日は最近注目されている DPU に続くネットワークアーキテクチャについて説明します。

チップおよび通信業界の実務者として、ベアラーネットワーク (伝送ネットワークとも呼ばれる) から始めて、次にデータセンターネットワークについて話し、最後に Google Aquila アーキテクチャを比較して、ネットワークアーキテクチャの将来の進化トレンドを楽しみにしましょう。。

全文60 00、読むのに17分かかると予想されます

テキスト | 中レベル

ベアラーネットワークからのチャット

一般に、ベアラーネットワークについて話すときは、基地局とコアネットワークのネットワーク要素の間のネットワークを指します。携帯電話はエアインターフェイスを介して基地局に接続され、基地局は光ファイバ、スイッチ、コアネットワークのネットワーク要素を介してネットワーク接続され、最後にコアルータを介してインターネットに接続されます。図 1 に示すように。図 2 に示すように、2G 時代から 5G 時代にかけて、ベアラーネットワークテクノロジーは絶えず進化しています。

図 1 ベアラーネットワークの場所

図 2 ベアラーネットワーク技術進化のロードマップ (出典: Wireless Deep Sea)

SDH は主に GSM/2G 時代の音声ベアラー (現実のシューティングゲームの CS ではなく、CS 回線交換とも呼ばれます)、TDM 時分割多重化、双方向リングネットワーキング、およびブロックフレーム構造に使用されます。図 3 に示すように、かつては非常に高いサービス品質と管理性が伝送ネットワークを支配していました。市場経済において、ビジネスを行う上で最も難しい部分は、生産ではなく、消費に適した持続可能な買い手を見つけることです。音声の時代、それは電話をかけることであり、要求は厳格で安定していて明確で、すべてが話しやすいものです。

図 3 SDH ネットワーク図 (出典: ITU)

3/4G時代になって音声通話の割合が激減し、IPサービスの割合が増えた理由は複雑ではありませんが、通話、WeChatの再生、Douyinの閲覧にかかる時間配分を見てみましょう。IP と Eth はどちらもノーコネクションとベストエフォートの原則を遵守しており (この 2 つの点については後で繰り返し説明します)、パケットサイズが長くなり不安定になるため、SDH の厳格なネットワークとは互換性がありません。この差を埋めるためにMSTP(MSTP=SDH+Ethernet+ATM)やMSTP+が押し出され、SDHの寿命は約10年間続いた。

しかし、徐々にIPの割合が圧倒的に有利になると、SDHは存続できなくなり、PTNが誕生しました。PTN = MPLS + OAM + 保護 - IP という式を以前に見たことがありますが、この式を理解するには、図 4 に示すように、まず MPLS とは何かを確認する必要があります。

図4 IP転送とMPLS転送の基本動作の比較（出典：「ネットワークハードウェア図解」）

OSI参照モデルではATMもEthもL2に位置しますが（もちろんEthもL1物理層仕様です）、設計原理やフレーム構造は全く異なります。イーサネットフレームの原理は、可変長、無接続、ベストエフォート型、ATM は固定長、接続 (実際、ATM は TDM テクノロジのアップグレードおよび最適化されたバージョンです) であり、この 2 つの設計コンセプトに依存しています。 IP 一貫して Eth が徐々に勝利しており、現在では ATM はあまり役に立ちません。

Eth および IP ネットワークでは、コネクションレスとベストエフォートは両刃の剣です。超低遅延以外のネットワークでは、スイッチは MAC アドレスに基づいてストアアンドフォワードを実行し、ルーターは IP アドレスとサブネットマスクに基づいて最長一致を実行するため、この問題は大きな問題にはなりません。ミッドエンドからハイエンドのスイッチとゲートウェイは現在 ASIC ハードウェアであり、高速化により QoS と遅延の欠陥が部分的に隠蔽されます。

しかし、5G uRLLC ベアラーやデータセンターネットワークなどの超低遅延ネットワーキングでは、QoS と遅延が重要な指標となります。Eth/IP と ATM にはそれぞれの利点があるため、業界は MPLS を考案しました。簡単に言うと、MPLS は OSI 参照モデルのレイヤ 2.5 に属し、IP への接続サービスを提供するもので、本質的にはトンネル技術の一種であり、L2 では Eth などのレイヤ 2 技術を使用できます。

従来のルーティングは動的ルーティングと静的ルーティングに分けられます。動的ルーティングは主に RIP、OSPF、BGP (UDP/TCP によって伝送される) などのルーティングプロトコルを使用し、ルーティングテーブルはゲートウェイ間で同期されます。これは実際にはコネクションレス型の分散プロセスです。IP ネットワークは M 国の軍によって設計されたものであり、当初からの目的は極限状況下でも中核部門が円滑な通信を維持できるようにすることであり、分散型、分散型の設計は避けられません。さらに負担となるのは、各ルーターノードが巨大なルーティングテーブルを維持しなければならないことです。Google の論文を注意深く読むと、Aquila では、MPLS に似た小さなテーブルのみが TiN で維持されていることがわかります。

MPLS アーキテクチャでは、接続を確立し、ルーティングテーブルの検索と維持の負担を軽減するために、エッジルータノードは、ルーティングプロトコルによって配信されたルーティングテーブル情報に従ってローカルラベルを生成します。このタグは、仮想リンク識別子以下の MPLS ルータ内の内部ルータはラベルに従って直接転送しますが、これはルーティングテーブルを抽出して抽象化することに相当し、後で直接使用できるため、MPLS と動的ルーティングには依然として多くの接続があります。

PTN 式の -IP は、実際に MPLS の動的ルーティングを統合された構成に変更し、コントロールプレーンのネットワーク管理によって配信すると同時に、L2 レベルでハードウェアが OAM PDU フレームの分析と処理をサポートします。 . SDH の保守性の高い設計を利用して、誰もが互いにマージしたり、お互いに盗用したりできます。

データセンターネットワーキングについて話しましょう

事業者のベアラーネットワークについて説明した後、データセンター (DC) ネットワークを見てみましょう。これら 2 つのネットワークのネットワーキングトポロジは、アクセス層、アグリゲーション層、コア層に分類できますが、DC ネットワークの進化はより劇的です。図 5 に示すように。

図 5 データセンターのネットワークアーキテクチャ (出典: Cisco 公式 Web サイト)

通信会社は、デバイス、パイプ、クラウドの協調進化についてよく話しますが、ここでのデバイスとは主にモバイル端末を指し、パイプとは主にベアラーネットワークを指します。クラウドについては少し説明する必要があります。

一般に、クラウドコンピューティングはインターネットメーカーの領域ですが、結局のところ、WeChat、Alipay、Douyin のバックエンドなどのさまざまなビジネスは、データセンターのコンピュータールームにある多数のサーバーによって、次のようなクラウドコンピューティングプラットフォームを介して実行されます。 PaaS と IaaS の両方が優れています。しかし実際には、コアネットワークのネットワーク要素は現在クラウド化されており、これはインターネットメーカーと一致しています。

アマゾンなどのインターネット大手は当初、自社のサーバーやクラウドサービスで自社のビジネスニーズを満たし、同時に余剰を外部に売却できることに気づき、これが現在の主流のパブリッククラウドの起源となった。さらに、Amazon は現在、クラウドコンピューティングの分野で誰もが認める王者であり、さまざまな技術ルートの進化をリードしています。

クラウドコンピューティングは多数のサーバーで実行され、これらのマシンはデータセンターのコンピュータールームに展開されます。もともと従来の C/S アーキテクチャでは、端末はベアラーネットワークやバックボーンネットワーク内の多数のスイッチやルータを経由して、Web サイトの特定のページへのアクセスなどのリクエストをデータセンターのコンピュータルームまで送信します。サーバーは大量の Web ページデータを返し、端末はデータを受信した後、ブラウザエンジンがそれを解析して表示します。

しかし、検索エンジン、ビッグデータ処理、人工知能などの分野でのアプリケーションの台頭により、単一の DC サーバーでは大量のコンピューティングとストレージのニーズを満たすことができなくなり、分散アーキテクチャが避けられなくなりました。同時に、クラウドコンピューティングにおけるホットマイグレーション、バックアップ、ディザスタリカバリ、隔離などの需要は日々高まっており、本来の南北（C/S）と東西（内部ノード間）のトラフィック比較関係は、 DC は変化し、ネットワークに起因する通信のボトルネックがますます明らかになってきています。

ここでストレージについてお話しますが、SSD ソリッドステートドライブが登場する前は、HDD が絶対的な主流でした。物理ディスクのシークレイテンシによって制限される HDD の読み取りおよび書き込みレイテンシはすでに物理的な限界に近づいているため、当時、DC の内部ストレージ部分のネットワークレイテンシは大きな問題ではないようでした。SSD には物理ディスクがなく、内部には多数のフラッシュデバイス + コントローラーがあり、非常に高速です。不揮発性ストレージ用に特別に設計された NVMe および NVMeOF を使用すると、ネットワーク遅延が小さいものから大きいものに変わりました。バレル効果の下で、ネットワーク帯域幅、遅延、QoS の最適化が不可欠です。

DPU が登場する前、業界は多くのテクノロジとソリューションをまとめてきました。Intel は常にプロセッサを中心としており、主に DPDK アクセラレーションを推進していました。ユーザーモードドライバ、バイパスカーネルプロトコルスタックを通じて、割り込みはポーリングポーリングに変更されました。 AVX 512 に似たいくつかの特別な命令が新たに追加され、ユーザー状態とカーネル状態の切り替えオーバーヘッドとメモリコピーの負担が軽減されますが、本質的には TCP/IP セットのままです。

Mellanox (Nvidia が買収) は、IB (Infinite Band、その名前は素晴らしい、無制限の帯域幅) を開発しました。上位層は、超高帯域幅、超低遅延、超信頼性の高い伝送を備えた RDMA プロトコルを搭載しています。は DC で非常に人気がありますが、IB には専用の NIC ネットワークカード、接続ケーブル、スイッチが必要であり、これらは恐ろしく高価であり、早急にコストを削減する必要があります。図 6 に示すように。

ここで、RDMA と TCP/IP は並行関係または競合関係にあります。TCP/IP の利点は、生態学的繁栄と安定性です。欠点は、必要なソフトウェアが多すぎることです。正確に言うと、これはカーネルプロトコルスタックであるため、遅延が非常に大きいです。SmartNIC では、TCP/IP ソフトウェアオーバーヘッドの一部がハードウェアによってオフロードされますが、TCP/IP プロトコルスタックの設計概念と実装の複雑さはハードウェア向けに設計されていません。

図 6 無限バンドアーキテクチャ (出典: Zhihu@Savir)

RDMA は異なります。設計の初期段階では、IB の L2/Phy との連携が強化されています。ソフトウェアオーバーヘッドは急速に削減され、節約された CPU リソースは、図に示すように、クラウドコンピューティングユーザーと上位層アプリケーションによって使用されます。 7. 良い匂いがするかどうかを尋ねます。IBは良いけど高すぎる、ATMとEthを統合してMPLSのような新しいものを考えられないか?これが後のRoCEやRoCEv2です。RDMA プロトコルは、イーサネットカードとイーサネットスイッチによって伝送されます。このように、ネットワークカードがアップグレードされている限り、ケーブルとスイッチは既製ですが、上位層のアプリケーションは、Verbs インターフェイスを呼び出して置き換える必要があります。オリジナルのソケットインターフェイス。

図 7 RDMA (出典: Zhihu@Savir)

最近では DPU トラックの人気が非常に高く、Nvidia が Mellanox を買収、Intel が Barefoot を買収、AMD が最近 Cisco の元従業員数名が設立した Pensando を買収、さらに最近では Amazon の Nitro、Ali の Shenlong アーキテクチャ、そして最近国内のスタートアップ企業数社を買収しており、市場は賑わっています。

DPU のいくつかのコア機能を見てみましょう。最初の機能はハードウェアオフロードです。

1. ネットワーク: RDMA、OVS スイッチなど。

2.ストレージ：NVMeOF（オーバーファブリック）など

3. 仮想化: Virtio、SR-IOV、VxLAN (UDP ベースの大規模 L2 トンネリングテクノロジ)

4. セキュリティ: 暗号化と復号化、IPSec など。

5. データ: 圧縮、解凍

その後、IaaS/PaaS が引き継ぎます。

6. デュアルハイパーバイザー: オリジナルのハイパーバイザーは軽量化、薄型化され、新たに追加されたハイパーバイザーは DPU の内蔵コア (通常は ARM) に沈みますが、最近では RISC-V に置き換えられる兆しがあります。

現在、業界に DPU の統一された定義や仕様はなく、将来も存在しない可能性があります。DPU は、SmartNIC のアップグレードバージョンまたは次世代に属する DSA アーキテクチャの実践であり、同時に ToR スイッチとスパイン/リーフアーキテクチャネットワークも引き続き存在します。

将来のネットワークアーキテクチャの進化トレンドを想像する

さて、いよいよ Google の Aquila について議論を始めることができます。図 8 に示すフレーム図を参照しながら、論文内のいくつかの重要な用語について説明しましょう。

1. Aquila: データセンター向けの新しい実験的なネットワークアーキテクチャ

2. TiN: NIC の ToR、NIC と ToR スイッチを 1 つに統合し、ネットワークカード + スイッチングを実現

3. GNet: Google のカスタムレイヤ 2 サブネットと外部 Eth/IP ネットワーク間のゲートウェイ。

図 8 Aquila のフレーム図 (画像出典: Google Aquila 論文)

論文からは、Google が既存の DC イーサネット LAN に基づいて独自に設計した第 2 層のサブネットを追加し、超低遅延 L2 イントラネットを構築したことがわかります。遅延 L2 イントラネットは、分散コンピューティングの超低遅延要件を満たし、データセンター内のストレージ。

アーキテクチャの観点から見ると、Aquila = 自己構築 IB + 従来の Eth/IP であり、オーバーレイでもアンダーレイでもありません。TiNはNIC+スイッチの機能を実現するため、SDNをバイパスすることはできません。Eth/IP はベストエフォート型の分散設計であり、複数の機器メーカーの混戦と相まって、初期段階では QoS、ネットワーキング、ネットワークの最適化、トラブルシューティングが非常に面倒であり、長期的には面倒になります。

オリジナルのスイッチ/ルーターには、コントロールプレーンとデータプレーンの両方があり、それぞれが独自に戦います。実際、SDN は各スイッチ/ルーターのコントロールプレーン機能を再利用して統一的に管理するため、SW/ゲートウェイはデータプレーンの転送のみを担当します。コントローラとスイッチの間に安全なチャネルが確立され、さまざまなメッセージを通じて、各イーサネットフレーム/IP パケットの処理方法をスイッチに指示するフローテーブル (多くの場合 OpenFlow と呼ばれます) が適切なタイミングで発行されます。

OpenFlow フローテーブルには、キー + アクション + カウンタの 3 つの主要な要素があります。スイッチは、キー（クラシック 5 タプルなど）を介して TCAM テーブルを検索し、Eth フレーム/IP パケットの照合を実行してから、フローテーブル内のアクションを実行し、さまざまなカウンタカウントを同時に更新します。フローテーブルは、プロセッサアーキテクチャにおける命令セットに似ています。たとえば、命令にはオペコードがあり、命令がフェッチされた後、デコードされます。命令の種類に応じて、ALU計算またはメモリアクセスが実行されます。、結果はレジスタまたはメモリに書き戻されます。

エコロジーの観点から見ると、NIC とスイッチ/ルーターはそれぞれ役割を果たしており、Aquila の TiN は 2 つを 1 つとしており、DC 市場の一部を切り取って独自の独立した L2 サブネットを構築することに相当します。市場のこの部分では /DPU/ToR が廃止され、Google は独自の SDN コントローラーを構築する必要があります。

Aquila の主な機能を見てみましょう。

1. セル交換: 元のイーサネットフレームを交換します。

2. ロスレスネットワーク: 強力なフロー制御と QoS

3. アダプティブルーティング: TiN 間のコラボレーション。

冒頭で紹介した ATM、Eth、MPLS を思い出して、類似点があるかどうかを確認してください。実際、スイッチやルーターの内部設計では、Eth フレームが受信された後、CrossBar 交換および処理のためにカスタマイズされたセルにも変換されます。セルと接続の設計に基づいて、フロー制御と QoS の実装がはるかに簡単になります。

最近人気のチップレットと比較してみましょう。従来の中小規模の SoC 設計では、オンチップネットワークは通常、AMBA3 AXI などの共有バスです。チップのコア数が増加するにつれて、リングリングバスやメッシュネットワークが派生しますが、このとき、実際にはチップ内にはスイッチング/ルーティングの影があり、数十、数百のコアが内部の専用信号線を介してチップに接続されています。内部ルーティングノードは、メッシュネットワークを実現するために複数のルーティングノード間でメッセージを送受信しますが、通常、内部メッセージのみが ARM の AMBA5 CHI などの CPU メーカーによってカスタマイズされた形式になります。

ウェーハ面積と歩留まりの関係によって制限されるシングルダイ面積が大きくなるにつれて、シングルチップソリューションではボトルネックが徐々に明らかになり、より多くのコアや加速エンジンを統合できなくなり、マルチチップスプライシングの需要が増加します。 2.5D/3D の高度なパッケージング技術、アプリケーションがより成熟するにつれて、HBM のようなスタック型チップレットソリューションも増加し始めています。少し前に、Intel は UCIe アライアンスを結成し、チップレット分野で PCIe の栄光を再現しようとしましたが、実際、本質はチップ間相互接続ネットワークのエコロジーであり、構築が始まりました。

冒頭のスーパーコンピューターの話に戻ると、SoC オンチップバスからチップレット間相互接続ネットワーク、Google Aquila の実験データセンターの新しい第 2 層サブネットワークに至るまで、実際、これらはすべてこの目的のためのものです。最終目標: サークル、基板、PCB、およびデータセンターサーバーの間で、超広帯域幅、超低遅延、超強力なフロー制御を備えたネットワークが内側から外側へ拡張しています。なぜなら、データセンターの分野では、通信事業者は通信ベアラーネットワークほど発言権を持たず、チップ大手やクラウドコンピューティングメーカーには再構築と最適化を実行する動機、予算、技術的スペースがあるからです。

5G eMMB の超高帯域幅と URLLC の超低遅延のプレッシャーと需要の下で、通信事業者のベアラーネットワークは劇的な変化と進化を遂げており、5G ベアラーと LTE ベアラーの間には大きな変化と改善が見られます。MPLS、PTN、OTN などの技術がベアラーネットワークに根付く可能性があります。効率的な OAM に加えて、強力な QoS も貢献します。もちろん、基地局とコアネットワーク間のネットワークでは、ダイナミックな通信が行われることが前提です。ネットワークのトポロジの変更はそれほど大きくありません。図 9 に示すように。

図 9 ネットワークスライシング (出典: Wireless Deep Sea)

Google の Aquila データセンターネットワークアーキテクチャは、IT ネットワークにおける遅延決定論的要件を解決するために、ある程度、CT ネットワークアーキテクチャの概念を利用しており、従来の 2 層イーサネットを脇に置き、Nvidia が買収した Mellanox が制御する Infinite Band をバイパスしています。 RDMA と同様のソフトウェアとハードウェアのフルスタックエコシステムを構築しました。このため、TiN チップと GNet チップ (プロセスノードは不明) が特別に設計されました。このような巨額のリソース投資は、AI における TensorFlow フレームワークと同じであると考えられています、これはすべて始まりにすぎません、DPU の幕がゆっくりと開いています、私たちは様子を見守ります。

コンピューターアーキテクチャの巨匠であるデイビッドパターソンとジョンヘネシーは、2017 年の有名な論文「コンピューターアーキテクチャの新黄金時代」で次のように予測しました。「コンピューターアーキテクチャの分野は、1980 年代と同じように、新たな黄金時代を迎えるでしょう。建築設計は、コストの削減、エネルギー消費の向上、安全性、パフォーマンスの向上をもたらします。」

よく言われるように、ソフトウェアはすべてを定義し、ハードウェアはすべてを加速し、ネットワークはすべてを接続します。

終わり

ヒント 1: DPU は、Data Processing Unit の略称です。新しく開発された専用プロセッサの大きなカテゴリです。データセンターのシーンでは、CPU と GPU に次ぐ 3 番目に重要な計算能力チップです。計算エンジンは、低コスト向けに提供されています。レイテンシー、データ集約型コンピューティングのシナリオ。

ヒント 2: Aquila は実験的なデータセンターネットワークアーキテクチャであり、超低遅延を中心的な設計目標としており、従来のデータセンターサービスもサポートしています。Aquila は、新しいレイヤー 2 セルベースのプロトコルである GNet、統合スイッチ、および GNet で設計され、低遅延のリモートメモリアクセス (RMA) を特徴とするカスタム ASIC を使用します。Aquila は、数百のホストにわたって IP トラフィックテール構造ラウンドトリップ時間 (RTT) が 40 μs 未満、RMA 実行時間が 10 μs 未満を達成できます。

▎著者バンシャン

「5G産業応用」の招待執筆者。チップからソフトウェア、端末からクラウドに至る ICT チップ業界で 15 年近くの経験を持つ彼は、コンピューティング、通信、ストレージテクノロジの進化に長年関心を持っており、ソフトウェアとハードウェアの統合の実践者です。関連産業の応用と生態学的構築についての深い洞察。

▎推奨読書

北米のビジョンと 6G までのタイムライン

欧州 6G のスケジュール、目標、主要技術 (パート 1)

欧州 6G のスケジュール、目標、主要テクノロジー (パート 2)

グローバル 5G 開発の洞察 2022 (パート 1)

日本のNTTドコモの5G進化と6G計画

特別企画｜5G最新動向徹底分析 2022年版技術記事（ダウンロード付き71ページ）

コアの欠如: 流行後の時代のチップ市場の詳細な分析

グローバル 5G 開発の洞察 2022 (中)

グローバル 5G 開発の洞察 2022 (パート 2)

信頼性と回復力のあるシステムに向けた 6G ビジョンと実現テクノロジー

▎良い本をお勧めします

People's Posts and Telecommunications Pressによって発行されたこの本は、5G に焦点を当て、ポイントツープレーンの観点からエッジコンピューティングを解釈しています。5G時代のエッジコンピューティングの含意とコア技術の紹介に基づいて、エッジコンピューティング産業チェーンの状況とエッジコンピューティングの7つの典型的な産業のアプリケーションの分析と紹介に焦点を当てています。

産業チェーンは上流、中流、下流をカバーします。一般的な業界アプリケーションには、交通業界 (自動運転、インテリジェントネットワーク接続、インテリジェント交通、スマート道路)、セキュリティ業界、クラウドゲーム業界、産業用インターネット、エネルギーインターネット、スマートシティ、スマートホームなどがあります。

ウー・ドンシェン博士編集長

ウー・ドンシェン博士、東南大学。彼は現在、Gosuncn Technology Group Co., Ltd. の上級副社長、広東・香港・マカオ大湾区自動運転産業同盟の副会長、広州車両・道路協力産業イノベーション同盟のディレクターを務めています。広州インテリジェントネットワーク車両デモンストレーションゾーンのオペレーションセンターのディレクター。5G、インテリジェントネットワーク接続、自動運転、ビッグデータ、人工知能、その他のテクノロジーの研究と応用イノベーションに取り組んでいます。省・市の定期刊行物に数十本の論文を発表し、「5Gと車両のインターネット技術」などの書籍を編集し、「広州インテリジェントネットワーク車両とスマート交通産業発展報告書（2020年）」の編集に参加した。

購入リンク

本書は、5G IoV の全体的なアーキテクチャ、システム標準、主要テクノロジー、典型的なサービスとアプリケーションシナリオを体系的に分析し、世界および国内の IoV の最新開発を包括的にスキャンして分析し、5G IoV 業界が直面する課題と課題を分析します。また、将来の開発見通しを予測することは、5G および車両インターネット業界の研究、標準化、および関連製品の実現に取り組む専門家にとって参考になります。