はじめに： Alibaba CloudECSエラスティックコンピューティング製品チームリーダーのWangZhikunとAlibabaCloud永続メモリインスタンス製品マネージャーのTangXianghuaが、AlibabaCloudの永続メモリインスタンスの設計コンセプトの秘密とストレージの将来の方向性についての理解を明らかにしました。
AIテクノロジーやデータ分析などの分野の台頭により、データの重要性はますます高まっています。データ処理には大量のメモリが必要になることがよくあります。データの爆発的な増加により、次のようなメモリを大量に消費するアプリケーションが無限に流れています。 RedisデータベースとSAPHANA。エンタープライズコアシステム。CSDN 2019および2020の開発者調査データでは、開発者の40％がデータ収集とメッセージ処理にRedisを使用しており、その割合は年々増加しています。
ただし、この段階でのジレンマは、基盤となるインフラストラクチャの開発がデータ爆発のニーズに完全に一致していないことです。
5Gとネットワークのパフォーマンスの向上に伴い、コンピューティングストレージネットワークの3つの部分でのストレージの欠点がより顕著になりました。メモリの容量密度と速度のギャップと、プロセッサコアの数の増加は、大きくなり、メモリがショートボードになりました。マシンがより多くのデータを処理できるようにするために、一部の企業はメモリを拡張することしかできず、メモリとCPUの比率が制限されているため、CPUの計算能力が浪費されます。また、メモリが高価なため、企業はより高いコスト圧力に直面します。 。
長い間、階層型ストレージメカニズムは、さまざまなストレージメディアのパフォーマンス要件とコスト要件のバランスを最大化してきましたが、業界は新しいストレージメディアの探索をやめませんでした。昨年、Alibaba Cloudは永続メモリインスタンス（略してre6p）をリリースしました。これは、フォンノイマンコンピューターシステムの究極の夢のストレージソリューションに向けた一歩のようなものです。CSDNは最近、Alibaba CloudECSエラスティックコンピューティング製品チームリーダーのWangZhikunとAlibabaCloud永続メモリインスタンス製品マネージャーのTangXianghuaにインタビューし、AlibabaCloudの永続メモリインスタンスの設計コンセプトとストレージの将来の方向性についての理解を明らかにしました。
フォンノイマンのアーキテクチャの問題：「記憶の壁」
ほぼ1世紀の間、フォンノイマンアーキテクチャはコンピュータサイエンスの基礎を形成してきました。フォンノイマンアーキテクチャでは、中央処理装置（CPU）が命令を介してメモリからデータを読み取り、計算を完了してから、データをメモリに返して保存します。フォンノイマンの理論モデルの非常に重要な仮定は、計算と保存の速度が同等であるということです。ただし、不一致があると、遅いパーティがボトルネックになります。
今日、データ量は急増していますが、基盤となるテクノロジーはバランスの取れた方法で開発されていません。メモリの容量密度と速度とプロセッサのコア数の増加との間のギャップはますます広がっています。メモリの開発速度はコンピューティングコアの数の増加に追いつくことができません。メモリは欠点になっています。 。これが「記憶の壁」です。
このため、多くの企業がメモリを改善することでこの問題に対応しています。顧客のニーズを満たすために、Alibaba Cloud Elastic Computingは大容量メモリインスタンスも発売しました。たとえば、AlibabaCloudは最近6TBの大容量メモリインスタンスを発売しました。ただし、前述のように、これによりCPUの計算能力が浪費され、メモリが高価になると、企業はより高いコスト圧力に直面することになります。これは長期的な解決策ではなく、拡張が困難です。「メモリウォール」という業界の問題は、基盤となるテクノロジーの観点から解決する必要があります。
Wang Zhikunは、ストレージと密接な関係があったことを思い出し、博士号を取得するために勉強していたときに、たまたまこの分野を勉強していました。「IOがコンピューター全体にあるかサーバーにあるかに関係なく、IOは常に比較的遅いデバイスでした...フォンノイマンアーキテクチャにキャッシュシステムのレイヤーがあるのはなぜですか？コンピューティングとメモリの間のパフォーマンスのギャップを解決するためです実際、10年以上前、学界はこのギャップを埋めるためにストレージメディアの研究に専念していました。学界と産業界の両方が、メモリレベルのパフォーマンスとデータストレージ用のハードディスクの耐久性の両方を備えた新しいタイプのストレージメディアを探しています。
残念ながら、多くの試みは実験段階に限定されており、大規模な商業化の可能性を欠いています。
「記憶の壁」のジレンマを打破する
過去数年まで、Alibaba Cloudは、成熟した市販の製品であるIntelOptane永続メモリを発見しました。この製品は、メモリに近いパフォーマンスとフォームを備えた従来の2レベルのストレージアーキテクチャを再定義し、ストレージの耐久性の特性も備えています。Optane永続メモリとメモリのIOパフォーマンスはほぼ同じ桁ですが、コストは大幅に削減され、メモリのジレンマを打破するために生まれました。
ただし、この製品の真の力を発揮するには、非常に高度な技術力が必要であり、最先端の技術を備えた大企業はごくわずかです。アリババはその1つです。Alibaba Cloudは、この機能を商用化することを期待して研究開発を開始しました。これにより、より多くの企業が低いしきい値でテクノロジーの配当を享受できるようになります。
結局、AlibabaCloudはIntelOptane永続メモリに基づいており、顧客に直接IaaSレベルのクラウドサービスを提供する機能を提供し、メモリの不揮発性という破壊的なストレージアーキテクチャの特性をクラウドにもたらします。AlibabaCloud永続メモリインスタンスのプロダクトマネージャーであるTangXianghuaは、Alibaba Cloudによって開発された永続メモリインスタンスによって、単一メモリの容量密度が向上し、単一CPUに対応するメモリ容量が拡張され、CPUの使用率が向上したことを紹介しました。永続メモリインスタンスアプリケーションは、ユーザーが「メモリウォール」の障壁を打ち破り、より高いパフォーマンスを実現し、ITインフラストラクチャ全体の所有コスト（TCO）を効果的に削減するのに役立ちます。
ただし、新しいITテクノロジーの発売から企業レベルの市場投入まで、ビジネスユーザーは、新しいテクノロジーと新製品の費用対効果を苦しめるために、自分の足で投票するだけです。したがって、永続メモリは初期段階にあり、ITストレージの欠点と最も厄介な問題を解決するために使用する必要があります。
永続メモリインスタンスのアプリケーションシナリオに関して、Alibaba Cloudは、RedisキャッシュデータベースやSAP HANAなどの一般的なメモリを大量に消費するアプリケーションから始めます。これらのアプリケーションは、メディアのアップグレードによってもたらされるパフォーマンスの低下を最も直接的に反映できるためです。ただし、Tang Xianghua氏は、Alibaba Cloudチームが永続メモリインスタンスをより深く分析していると述べました。たとえば、メッセージキューMQのアプリケーションシナリオでは、メッセージのロングテール遅延とビジネスジッターを大幅に削減できます。Optane永続メモリは、メモリの低コストの代替手段であるだけでなく、SSDとしても使用できます。ゲームフロントエンドやライブブロードキャストフロントエンドなど、高負荷で同時実行性の高いIOを多用するアプリケーションでは、永続メモリインスタンスはさらに大きくなります。これは、AlibabaCloudのエラスティックコンピューティングの焦点にもなります。
テクノロジーから製品までの永続メモリの例
Optane永続メモリには非常に大きな利点があるように聞こえますが、初期段階のすべての新技術に対する高い技術R＆Dしきい値が、ユーザーを落胆させる主な理由です。
グローバルな観点から、多くの従来のサーバーベンダーは、顧客が購入した直後に使用するのが難しい永続メモリ製品も発売しています。技術的なしきい値に加えて、新しいメディアと既存のITリソースとの互換性も解決する必要のある問題です。クラウドの利点は、ユーザーがいつでもどこでも弾力性のあるコンピューティング製品の反復と最新のストレージメディアを楽しむことができることです。同時に、クラウドベンダーの複数の支払いモデルは、ユーザーのしきい値も下げます。クラウドベンダーを通じて、ユーザーは非常に低いしきい値で永続メモリを使用して自分のビジネスに適用できます。これは、ほとんどすべてのエンタープライズレベルのビジネスに最適なエントリモードです。
そのため、業界では永続メモリとDRAMのパフォーマンス比較、および永続メモリの適用可能なシナリオと使用例についてまだ話し合っていますが、AlibabaCloudはIntelOptane永続メモリに基づく製品を正式に発売しました。ただし、世界には多くの有名なクラウドコンピューティングベンダーがあります。AlibabaCloudが商用の永続メモリインスタンスを立ち上げる世界初のクラウドサービスプロバイダーになるのはなぜですか。これはもっと興味深い質問です。
テクノロジーの包括性の目的を尊重するクラウドコンピューティングベンダーとして、Alibaba Cloudは、ユーザーのニーズに最も近い技術リソースのプロバイダーであるだけでなく、高度なテクノロジーを大規模に商品化し、技術的なしきい値を下げる改革者でもあります。
Wang Zhikunは、Alibaba Cloudがサイズと規模の点で一定の段階に発展したと考えています。顧客にサービスを提供する過程で、顧客の要求を確認しました。元の大容量メモリインスタンスは非常に高価であり、間違いなくクラウドコンピューティングの包括的な原則。ただし、クラウド内のユーザーに永続メモリを大規模に提供するには、非常に高度な技術的能力が必要です。
Alibaba Cloudのアーキテクチャを見ると、自社開発の「Shenlong」クラウドサーバーアーキテクチャに加えて、「Feitian」クラウドオペレーティングシステム、「Pangu」ストレージプラットフォーム、「Luoshen」ネットワークプラットフォーム、PolarDBクラウドネイティブデータベースなどもあります。 。、これは統合クラウドプラットフォームを構成し、Alibaba Cloudに、仮想化レイヤーからオペレーティングシステムカーネルレイヤーへのリンク全体を統合および最適化する機能を提供します。これらの機能により、Alibaba Cloud Elastic Technologyチームは、永続メモリの製品開発においてより機敏になります。
「AlibabaCloudのエラスティックコンピューティング製品はすべてShenlongアーキテクチャに基づいています。仮想化作業はすべて大幅に簡素化されています。FeitianCloudオペレーティングシステム全体の基盤となるタスクの多くは、Shenlongチップによって完了します。これにより速度も大幅に向上します。 AEPの新しいストレージメディアを導入することで、製品全体の反復的な進化を実現しました。」とWangZhikun氏は述べています。
Alibaba Cloudは、Intel Persistent Memoryの製品機能を完全に統合します。Redisデータベースでは、Alibaba Cloudは、仮想化レイヤーからオペレーティングシステムカーネルレイヤーへのリンク全体を最適化および高速化します。
アプリケーション層の最適化では、Redisキャッシュデータベースが典型的なKVデータ構造です。永続メモリと通常メモリが同時に存在するシステムでは、RedisインデックスデータをDRAM（動的ランダムアクセスメモリ、つまり動的ランダムアクセスメモリ）に配置してみてください。 、元のメモリ）および永続メモリにユーザーデータを配置します。動的しきい値管理データ分散は、より小さなインデックスデータが可能な限りメモリに配置されることを保証できるだけでなく、通常のメモリと永続メモリが特定の容量比を満たすことも保証できます。同時に、ライフサイクルが短く、頻繁にアクセスされる一部のデータについては、AlibabaCloudがデータを最適化して通常のメモリに配置します。この方法を使用すると、AlibabaCloudの永続メモリインスタンスのパフォーマンスをDRAMに非常に近づけることができます。
カーネルレベルでは、AlibabaCloud永続メモリインスタンスにAlibabaCloudオペレーティングシステムの公式ウェブサイトであるAliyunLinuxが搭載されています。Redisアプリケーションの場合、Alibaba Cloudは、メモリロックなどのRedisアプリケーションデータフローの処理と管理の主要なテクノロジーノードに重点を置いています。操作、プロセスフォークフロー、およびメモリ統合。ターゲットを絞った最適化設計を実行しました。永続メモリインスタンスで実行されているRedisデータベースの読み取りと書き込みのパフォーマンスは、オープンソースのLinuxオペレーティングシステムで実行されているパフォーマンスと比較して、20％以上向上しています。
添付ファイル：Alibaba Cloud永続メモリインスタンスのパフォーマンスと利点：
- 大幅に改善されたパフォーマンス：Redisなどのメモリベースのデータアプリケーションでは、Alibaba Cloudの完全なリンク最適化の後、オープンソースのLinuxオペレーティングシステムで実行する場合と比較して、パフォーマンスが20％以上向上します。
超大容量メモリ比：1：20の超大容量メモリ容量比、低価格、大容量メモリを提供します。
電源オフ時にデータが失われることはありません。マシンの電源がオフになってもデータが失われることはなく、最速のリロード速度で可能です。 12倍以上増加します。
将来：ストレージメディアの境界を曖昧にし、ソフトウェアとハードウェアの統合に向けて
ちょうど過去の2020年の終わりに、IntelのOptane永続メモリが第2世代にリリースされました。テープ、ディスク、フラッシュメモリから永続メモリに至るまで、ストレージメディアのパフォーマンスとコストは進化し続けています。各世代のストレージメディアは、パフォーマンスの低いアーカイブデータを保存する責任を負うために、ステージの中心から徐々に撤退しています。
2人のAlibabaCloudの専門家は、メディアや製品レベルに関係なく、将来的にはメモリと従来のストレージの境界があいまいになり、さまざまなストレージメディアが長期間共存すると考えています。同時に、IOTと5Gの台頭に伴い、データの規模は拡大し続け、データのアクセス、取得、処理に対する人々の要求はますます高まっています。IOを多用するアプリケーションは、さらに超高水準を促進します。-高性能ストレージデバイス。広く使用されています。
より広い観点から見ると、ITシステムはハードウェア主導になり、クラウドコンピューティングのソフトウェア定義の時代に入りました。しかし、Alibaba Cloudの専門家の目には、ソフトウェアとハードウェアは将来ITの2つの反対ではなくなります。アリババクラウドは、シェンロンのアーキテクチャとチップから始まり、当初はソフトウェアとハードウェアの統合の次の時代に向かって進んでいます。ソフトウェアとハードウェアの統合により、Alibaba Cloudは全体として、新しいメディアと新しいテクノロジーを受け入れ、反復の速度を上げることができます。
5Gと人工知能の人気、およびデータ量の爆発的な増加により、データのフローとアプリケーションがより一般的になります。大量のデータの迅速な処理は、すべての人工知能の革新の基盤となります。将来的には、Alibaba Cloudは、AIとビッグデータにおけるソフトウェアとハードウェアの統合およびチップ統合の調査を引き続き進めていきます。
元のリンク：https ：//developer.aliyun.com/article/782379？
著作権表示： この記事の内容は、Alibaba Cloudの実名登録ユーザーによって自発的に提供されています。著作権は元の作成者に帰属します。AlibabaCloud開発者コミュニティはその著作権を所有せず、対応する法的責任を負いません。具体的なルールについては、「Alibaba Cloud DeveloperCommunityユーザーサービス契約」および「AlibabaCloudDeveloperCommunity知的財産保護ガイドライン」を参照してください。このコミュニティで盗用の疑いがある場合は、侵害の申し立てフォームに記入して報告してください。確認されると、コミュニティは侵害の疑いのあるコンテンツをすぐに削除します。