クラウド時代にはどのようなデータベースが必要ですか？

この記事の著者であるPanAnqunは、Tencent CloudTDSQLの責任者です。Pan Anqunは、主にTencent Cloud分散データベースの研究開発を担当しています。彼は分散データベースの研究開発で13年以上の経験があり、彼の研究開発結果はVLDBやSIGMODなどの多くの国際的なトップ会議に選ばれています。彼のチームによって作成された安全で制御可能な分散データベースTDSQLは、インターネットバンキングのコアトランザクションシステムで使用される業界初であり、銀行の従来のコアシステムに初めて参入し、従来の大手銀行が銀行業界で最初の「メインフレーム」が下がる。分散プラットフォーム上の国内企業レベルの分散データベース。

ゼロ、はじめに

データベース技術は半世紀にわたって開発されてきました。データベースチューリング賞を受賞したマイケルストーンブレーカーは、データベースモデル技術をデータベースシステムのリーディングで9つの異なる時代とタイプに分割しました。クラウド時代の始まりの後、新しいAの視点から始めることができます。データベースなどの基礎技術の過去と未来を探る。

クラウドコンピューティングに基づいて、データベースを含むITの基本技術は、技術的な形式から市場全体のオンラインおよびオフラインの統合へと大幅に変化しました。データベース技術は、クラウド時代の従来の集中型から分散型の移行および置換への傾向を示しています。データベースの機会と課題。

ガートナーは2020年11月に、2020年のデータベースベンダー評価レポートを発表しました。国内のデータベースベンダーは3議席を占め、国内データベースの開発の新たな段階を示しています。

同時に、Gartnerは、2022年までに、世界のデータベースの4分の3がクラウド上で実行されると予測しており、クラウドデータベースの開発は、現在、「データベースからクラウドへ」の第1段階を経ていると考えています。データベースからクラウドデータベースへ。」、「クラウドデータベースからクラウドネイティブデータベースへ」の変換の第2フェーズへ。

最終的な分析では、業界の認知を得るためにクラウドデータベースは何をしましたか？データベース開発の今後の動向は？新しい機会の下でのクラウド統合の時代における技術革新の脈動をどのように把握できますか？現在の国内データベースが話題になっているので、私たちの理解と考え方について話して、みんなを励ましましょう。

1.クラウド時代のIT基礎技術の進化

クラウドコンピューティングの発展に伴い、IT基本テクノロジー全体の大変動はいくつかの側面に反映されています。

IT施設の展開は、以前は断片化されていたものから、今日では集中化された大規模なものに移行しています。これまで、各企業は独自のデータセンターと、サーバー、ネットワーク、オペレーティングシステム、データベースなどを含むその他のITインフラストラクチャを構築し、企業市場で断片化されたIT施設モデルを形成していました。今日、クラウドコンピューティングサービスに基づいて、エンタープライズIT施設は一元化された大規模な効果を示しており、効率、パフォーマンス、およびコストに対する要件が高まっています。

過去のソフトウェア提供モデルからサービス提供モデルまでのITサービス提供。以前は、商用ソフトウェアの購入やオープンソースソフトウェア製品の使用は、基本的には商用化またはオープンソースを通じて配布されていましたが、現在は完全に個別のサービスの形で提供されています。これによりもたらされる変更は、ユーザーが複数のサーバーを購入する計画を立てる必要がないことですが、データベースの使用要件がある場合は、クラウド上で直接使用できます。

開発方法は、過去のビジネスの非常に低レベルの開発から、低レベルのAPIを呼び出す操作からSaaSベースのSeverlessサービスモードまでのモードを提示します。クラウドでは、開発者はさまざまなSaaSサービスを使用できます。これは、効率と基本的な技術的能力の点で大きな変化です。

実際、データフォームやアプリケーションシナリオに関しては、過去のデータフォームやアプリケーションシナリオは比較的単一であり、従来のデータベースを例にとると、シナリオは主に財務、オペレーター、政府などの従来の業界に集中しています。インターネット、モバイルインターネット、インダストリアルインターネットの発展に伴い、さまざまな業界が電子・情報化の発展傾向を徐々に加速させ、アプリケーションサービスフォームが多様化し、現在の業界データフォームやアプリケーションシナリオがますます多様化しており、提唱されています。基盤となるデータベース機能に対するより多くの要件と課題。以前は、業界のシーンはより構造化されたデータであり、リレーショナルデータベースはシーンの要件の大部分をサポートできましたが、NoSQLやGraphデータベースなど、さまざまな種類のデータベースが登場していることがわかります。同時に、NoSQLの部下KVタイプやドキュメントタイプなどのさまざまなカテゴリに分類でき、データベースタイプ全体はまだ増え続けています。これは非常に合理的な現象です。言い換えれば、将来のデータベースについては、独自の開発も多様化され、統合された革新的な傾向を示します。従来の経験では、技術製品が単一の形態である場合、可能な限り一般化を達成することが追求されていることを私たちは知っていますが、多様化するニーズの現在の傾向の下で、さまざまなトレードオフとトレードオフが必要です。技術的なアプリケーションレベル。

したがって、これはクラウド時代の発展と変化であり、データベースに新たな課題と要件をもたらしていると言えます。現在のクラウドデータベースが一般的なトレンドになっていますが、国内のクラウドデータベースの開発には、基本機能、コスト効率、製品化、将来の技術統合の探求とブレークスルーを継続する必要があると考えています。

2.クラウドデータベーステクノロジーの進化の課題

国内のクラウドデータベースの開発は、クラウドコンピューティングの特性と組み合わせて、クラウド時代の多様なトレンドに直面しながら、可用性と一貫性、高い同時実行パフォーマンス、弾力性のあるスケーラビリティなどの基本的な機能のブレークスルーを探求し続ける必要性に直面しています。新世代の分散データベース製品を作成します。主張します。

まず、可用性と一貫性。

データベースとして、高可用性とデータの整合性が最も基本的な課題です。高可用性には99.999％以上が必要です。データの整合性が高いということは、データにエラーがなく、データベースの信頼性が高いことを意味します。クラウドコンピューティングの時代において、技術設備のアップグレードは、技術の実現方法に変化をもたらしました。これまで、金融業界などでは、システムは、システムの可用性と一貫性を確保するために、安定性の高い従来の集中型メインフレームまたはミニコンピューターに基づいていました。ただし、従来の集中型構造には、パフォーマンスとスループットの境界を含む明らかな技術的境界があります。今日、それらはすでにより大きなスループットとパフォーマンスのボトルネックに直面しており、クラウド時代の産業ニーズを満たすことができません。当然のことながら、現在の業界の傾向は、分散アーキテクチャ、およびx86に基づく分散オープンプラットフォームへの変換とアップグレードです。従来のアーキテクチャシステムは、メインフレームまたはミニコンピューターのハードウェアレベルでの多数の冗長設計に依存しており、ハードウェアレベルでの可用性と一貫性を保証します。相対的に言えば、x86マシンの展開に基づく新世代の分散アーキテクチャシステムは、データの整合性と高いシステム可用性を確保するために、パフォーマンスと無制限の水平拡張を実現する方法に新たな課題と要件をもたらします。

第二に、パフォーマンスコスト。

クラウドコンピューティングの時代では、大規模なものを実現した後、コスト削減が実現できなければ受け入れられません。クラウドコンピューティングが社会全体の資源利用率を向上させるためには、パフォーマンスコストを最小限に抑える必要があります。

Tencent Cloudのサービスについて検討する必要があるのは、顧客が最先端のサービスを最も安い価格で購入できるようにする方法です。たとえば、最大のディスクスペースを購入するための費用を最小限に抑え、TPSやその他の製品のパフォーマンスを最大限に高めることができます。このプロセスで最も重要なことは、リソースの使用率です。たとえば、クラウドコンピューティングサービスプロバイダーがリソース使用率を20％増加させると、顧客とサービスプロバイダー自体のコストの一部が大幅に削減されます。

第三に、クラウドネイティブとは、柔軟性が必要であることを意味します。

弾力性のあるスケーラビリティとは、過去の事前購入や事前割り当てではなく、ユーザーの実際のニーズに応じてリソースを割り当てて使用できることを意味します。以前は、ほとんどの顧客が最初に見積もりを行ってから購入したため、リソースの使用率が批判されていました。現在、ユーザーは将来使用する可能性のあるリソースの数を見積もる必要はありませんが、リアルタイムの使用要件に応じて柔軟なスケーリングを実現できます。このため、クラウドデータベースは、リソースの使用率を向上させることでコスト面でのメリットを実現できます。ただし、極端な弾力性のあるスケーリングでは、高度なSQLサポートと分散トランザクション機能の観点から、データベースに対する要件が高くなります。

第四に、クラウドデータベースの製品化とサービスの程度。

国内データベースの開発も複数の段階を経てきましたが、Tencentなどの多くの国内クラウドベンダーが、データベースなどの新世代の基本的なソフトウェア技術を開発する機会をつかんだのは、まさにクラウドコンピューティングとインターネットの出現です。ビジネスシナリオの特性とニーズ。過去数年間、Tencentは、データベース全体の製品化を改善し、技術的な製品化やサービスの改善を含むユーザーエクスペリエンスを改善する方法に大きな重点を置いてきました。インターネットメーカーは、社内のビジネスシナリオに基づいて独自の技術システムを開発しているのがメリットであり、Bに門戸を開く過程で、製品の標準化、汎用性、ユーザーエクスペリエンスなどの課題にも直面します。業界の顧客に技術製品を提供するための要件は、内部使用をサポートするよりもはるかに高くなっています。従来の企業顧客の場合、Tencent Cloudは、半製品ではなく完全な製品を顧客に提供したいと考えています。したがって、製品化の程度は、Tencentが常に強調してきた機能です。

第五に、大規模なシーン検証。

最後の重要なポイントは、クラウドデータベースの場合、安定性や機能要件などの基本機能を開発するためのコア条件は、洗練するための十分なアプリケーションシナリオが必要であるということです。データベースシステムの開発と改善は非常に複雑なプロセスですが、データベースをどのように実践して適用することができますか？今日、私たちは継続的かつ大規模なシーン研磨が製品開発の重要な条件であると信じています。Tencent独自のアプリケーションとクラウド上のあらゆる分野のアプリケーションのおかげで、100万人以上の開発者が使用されているため、TencentCloudデータベースには製品を磨くのに十分なスペースがあります。これが私たちの挑戦であり、私たちの発展を促進する土壌です。

これらの課題は、クラウドデータベースの開発における唯一の方法であり、クラウドコンピューティングの時代に新世代の分散データベース製品を作成する機会でもあります。

3.クラウドデータベースの将来の主な傾向

これらの課題とクラウドコンピューティングの時代によってもたらされた機会に基づいて、クラウドデータベースの将来の開発には、いくつかの主要なトレンド要件が含まれると考えています。

Elastic Sc​​aling：コアコストの問題の解決-リソース使用率

前述のように、コストとパフォーマンスがコア要素です。これは、クラウドコンピューティングの時代の違いの延長です。つまり、CPU、メモリ、ディスクなどのインフラストラクチャリソースの柔軟なスケジューリングを実現する必要があります。

クラウドデータベースの時代には、究極のエラスティックスケーリングアーキテクチャを探求することで、パフォーマンス、効率、コストの問題を包括的に解決します。さまざまなシナリオに焦点を当てると、クラウドネイティブの分散データベースは2つのアーキテクチャに分けることができます。1つはシェアードナッシング、もう1つはシェアードストレージです。どちらも、コンピューティングとストレージに別々のアーキテクチャを実装することで、より優れたスケーラビリティを実現できます。従来のアーキテクチャでは、ストレージ容量の制限、拡張の困難さ、マスタースレーブの待ち時間が長いという欠点があります。また、コストを抑え、最先端のテクノロジーの費用対効果を完全に解放するのにも役立ちます。

コンピューティングおよびストレージデータベースサービスの完全なサーバーレスアーキテクチャも、将来的に焦点を当てることができる方向です。自動および非誘導の拡張と縮小に基づいて、実際の使用に応じて同時に課金することができます。クラウドデータベースの有用性が向上します。

マルチモードとマルチエンジンのトレンドの下でのデータベース最下層とサービスのハイパー統合

新しいインフラストラクチャと産業用インターネットの急速な発展、さまざまな産業のデジタル化の加速、そしてますます多様化する大規模なデータ形式データベースのパフォーマンス、コスト、サービスなどの問題を最も効率的に解決する方法、ハイパーコンバージェンスは避けられない傾向。

現在、私たちはあらゆる分野で電子、情報構築、デジタルトランスフォーメーションのトレンドにあり、業界では多くの新しいシーンが絶えず出現しています。さまざまなITシステムアーキテクチャをサポートする基本的なソフトウェアテクノロジとして、データベースには、多数のNoSQLプラクティスを含む、技術形式全体でのさまざまな新しいアプリケーション実装があり、ストレージフィールドには、従来のB +ツリー、現在のLSMツリー、およびラインアーキテクチャがあります。ストレージや列ストレージなどの製品。ワークロードのタイプに応じて、OLTP、OLAP、またはその2つの組み合わせを含むHTAPデータベースが登場しています。

ほとんどの場合、企業またはシステムにサービスを提供するために、さまざまなエンジン製品が独立して存在することはありません。ワンサイズはどれにも合いません。技術的な観点からは、極端なパフォーマンスコストと汎用性の間には自然な矛盾があります。したがって、多様なシナリオでは、複数のエンジンを共存させる必要があり、さまざまなエンジンの特性と利点を十分に活用して、極端な汎用性を実現できます。

しかし、クラウドデータベースサービスプロバイダーとしてではなく、これらのさまざまなエンジン製品を顧客や開発者に公開して、自分で選択できるようにしていますか？製品サービスの経験の観点から、そうであるべきではありません。マルチモーダルテクノロジーエンジンの現在の状況は、モデルの選択とアプリケーションの開発において開発者に必然的に困難をもたらします。つまり、十分に高いパフォーマンスを達成しながら、さまざまなシナリオに適応できるようにする方法です。これは、現在直面しているデータベース開発でもあります。ジレンマ。この問題を解決するために、将来的にはユーザーが複雑な選択をする必要がないことを願っていますが、システムはAIインテリジェントスケジューリング、サーバーレスなどのソリューションに基づいており、複数のエンジンで統合され標準化されたサービスを完全に実現します。低レベルの観点から、将来、開発者は特定の製品の選択を認識する必要がなくなります。たとえば、データ分析を行う場合、システムは、最高のパフォーマンスと保証されたトランザクションの一貫性を備えたソリューションのスケジュールを自動的に支援できます。

これに基づいて、クラウドデータベースサービスの将来のトレンドは、ソフトウェアとハ​​ードウェアの統合、プライベートクラウドとパブリッククラウドプラットフォームの統合、その他の製品とサービスの配信ソリューションを含む配信方法の統合です。これにより、顧客は機密性の高いビジネスと運用のバランスを取ることができます。コストより洗練された管理を実現します。

インテリジェント：AI + DB

インテリジェントテクノロジーなどの基盤となるテクノロジーのエコロジカルな統合と変換、およびデータベースの自律性とインテリジェントな管理の実現も、将来のデータベースのトレンドの1つです。これまで、企業の場合、数十のインスタンスセットを管理するには数個のDBAで十分でしたが、たとえば、数十万のデータベースインスタンスがあるTencentの場合、運用を維持するための人員を配置することは困難でした。ツールまたはプラットフォームを使用して、運用効率の問題を解決します。さらに、分散型マイクロサービスの変革という現在の傾向の下で、将来のエンタープライズIT運用にもますます強力な自律性要件があります。インテリジェントテクノロジーとデータベースの最下層の統合により、データベースのライフサイクル全体のインテリジェントな管理を実現できます。

新しいハードウェア配当のリリースを加速する

過去には、新しいハードウェアのプロモーションサイクルは非常に長く、多くの従来の企業は新しいハードウェアの購入に比較的保守的でした。クラウドベンダーの場合、最初の重要ではないアプリケーションなど、新しいハードウェアアプリケーションの探索を徐々に主導することは比較的可能ですが、大規模なシーン検証を行って、着実かつ大規模なプロモーションを実現することもできます。この観点から、クラウドコンピューティングサービスに基づいて、クラウドネイティブデータベースは、新しいハードウェアによってもたらされる利益を比較的簡単に調査して解放できます。

現在、SSD、NVM、RDMA + SPDK、千コアサーバー、異種プロセッサーなど、無限の新しいハードウェアイノベーションの時代にあります。クラウドデータベースサービスに基づいて、顧客や一般の開発者も新しいハードウェアをより楽しむことができますハードウェアによってもたらされる祝福。

したがって、統合、自律性、およびユーティリティは、将来のエンタープライズレベルの分散データベースの基本的な特性です。Tencent Cloud Databaseは、上記のトレンドを実用的なレベルから実装し、将来のあらゆる分野の顧客の多様なニーズに対応します。