DTCC 2020 | Alibaba Cloud Wang Tao：クラウドでのAlibabaeコマースデータベースの実践

はじめに： 第11回中国データベース技術会議（DTCC2020）が北京で盛大に開催されました。この会議は、「アーキテクチャの革新、効率的かつ制御可能」をテーマに、データアーキテクチャ、AIとビッグデータ、従来の企業データベースの慣行、および国内のオープンソースデータベースの共有と議論に焦点を当てました。データベースのインテリジェントな運用と保守の特別セッションでは、AlibabaCloudデータベースの上級技術専門家であるWangTaoが招待され、Alibaba eコマースデータベースクラウドの選択、考え方、実践を紹介しました。アリババのeコマースデータベースは、もともと独自の独立したIDCで管理されていました。アリババクラウドプロジェクトを使用すると、データベースをクラウドに簡単に移動できます。アリババクラウドのクラウドネイティブコントロールとクラウドネイティブデータベーステクノロジーは、企業がスムーズなクラウド移行の目標を達成するのに役立ち、それによってリソースの最大化とコストの最適化の目標を達成します。アリババは、アリババクラウドの技術システムを使用して、顧客が大規模にクラウドにアクセスし、独自の運用および保守管理および制御プラットフォームを構築できるようにしたいと考えています。

要約：第11回中国データベース技術会議（DTCC2020）が北京で盛大に開催されました。この会議は、「アーキテクチャの革新、効率的かつ制御可能」をテーマに、データアーキテクチャ、AIとビッグデータ、従来の企業データベースの慣行、および国内のオープンソースデータベースの共有と議論に焦点を当てました。データベースのインテリジェントな運用と保守の特別セッションでは、AlibabaCloudデータベースの上級技術専門家であるWangTaoが招待され、Alibaba eコマースデータベースクラウドの選択、考え方、実践を紹介しました。アリババのeコマースデータベースは、もともと独自の独立したIDCで管理されていました。アリババクラウドプロジェクトを使用すると、データベースをクラウドに簡単に移動できます。アリババクラウドのクラウドネイティブコントロールとクラウドネイティブデータベーステクノロジーは、企業がスムーズなクラウド移行の目標を達成するのに役立ち、それによってリソースの最大化とコストの最適化の目標を達成します。アリババは、アリババクラウドの技術システムを使用して、顧客が大規模にクラウドにアクセスし、独自の運用および保守管理および制御プラットフォームを構築できるようにしたいと考えています。

スピーカーの紹介：

アリババクラウドデータベースのシニアテクニカルエキスパートであるワンタオは、アリババクラウドデータベース製品部門の出身で、データベースが好きです。
キャリア：プログラマー-> DBA-> DevOpsアーキテクト。2007年に、彼はアリババのデータベースシステムの進化に参加、設計、および主導し始め、アリババのデータベースシステムの進化を主導し、経験豊富なデータベースde-IOE、大規模なMySQLの運用と保守、さまざまな場所での複数の活動のためのアリババデータベース、データベースクラウドおよびその他のコアプロジェクト。現在、彼はAlibaba Cloud RDS制御の責任者であり、安全、安定、経済的、インテリジェントなデータベースサービスをすべての人に提供しています。

以下のコンテンツは、スピーチビデオとPPTに従って構成されています。

この共有は、主に次の4つの側面に焦点を当てています
。1。Alibabaeコマースデータベースのアプリケーションシナリオの概要
2.データベース管理および制御プラットフォームの進化
3.データベースクラウドの選択と考え方
4.将来の展望

1.アリババeコマースデータベースアプリケーションシナリオの概要

1.Alibabaのビジネス機能の概要-RDSThree Node Enterprise Edition

アリババのeコマースデータとは何ですか？Taobao、Tmall、Hema、Ele.meに表示されるデータはすべて、Alibabaのeコマースデータに属しています。これらの企業が使用するデータベースは現在クラウドにあります。アリババの以前のデータベースは、ワンマスターマルチバックアップモデルを使用した高可用性バージョンのRDSでしたが、インスタンスがゼロRPOを達成できないことが判明しました。MySQLの半同期やその他の手段を使用しようとしましたが、RPOがゼロの問題を解決できません。2つ目は、CAP理論またはBASE理論の採用を検討することです。CAPは、一貫性（Consistency）、可用性（Availability）、パーティション許容値（パーティション許容値）を指します。しかし実際には、データベースはCAPの3つの特性を同時に満たすことはできず、そのうちの1つまたは2つしか満たすことができません。BASE理論に精通していない可能性があります。コアは、AマシンとBマシン間の不整合にあります。マシンAとBは、単独の場合は不整合である可能性がありますが、接続されると整合性があります。データ管理および制御システムは通常BASE理論に従い、データベースはCAPの原則を選択することがよくあります。RPOが0に等しいという問題を解決するには、いくつかの方法があります。1つ目は、MySQL半同期とMySQLグループレプリケーションです。これは、MySQL 5.7以降に導入された新機能です。ただし、データのコピーが3つ必要な場合、コストは許容できません。そのため、アリは徐々にRDS自己研究の方向に進んだ。

アリババのデータベースプロトコルの選択も、PaxosプロトコルまたはRaftプロトコルをさまよって、最終的にPaxosプロトコルを選択しました。なぜパクソス、いかだなし？下の図の右側から、データXが前に送信され、データYが後に送信されたことがわかります。S3では、P3.1、P4.5、A4.5 Yが最初に実行されました。つまり、パクソスです。合意は秩序だった必要はなく、Raftは秩序だった。Raftプロトコルでは、S3がP3.1、A 3.1 Xを実行してから、P4.5、A 4.5Yを実行する必要があります。これは、PaxosプロトコルとRaftプロトコルの最大の違いです。次に、Paxosプロトコルには、送信者（提案）、受信者（承認）、および学習の3つの役割があります。アリババの自己開発RDSは、これら3つの役割を変換します。ProposeはLeaderと呼ばれ、読み取りと書き込みが可能なデータベースノードを指し、AcceptはFollowerと呼ばれ、大部分は完全なデータを持っているため、リーダーに変身できます。Logger（Aliの自己開発の役割）もあります。これは、ログの受信のみを担当し、データの受信は担当しません。リーダーとフォロワーには十分な量のデータがあり、ロガーはログ受信ノードにすぎないため、CPUとメモリのコストが削減されます。LearnはLearnerと呼ばれ、オブザーバーの役割に属します。完全なデータはありますが、投票権はありません。Learnerが電話を切ったとしても、Learnerの提出物の大部分には影響しません。

2.アリのビジネス機能の紹介-さまざまな場所でより多くの生活を送る

ご存知のように、アリババのビジネスのもう1つの特徴は、さまざまな場所に住むことです。異なる場所に住むことには2つの利点があります。どちらも地域レベルのエスケープ機能を備えており、ユーザーは任意のユニットで取引できます。下の図の右側では、ユーザーはルールによって分割されており、トランザクションはデータセンターやその他のユニットで実行できます。さまざまな場所でのマルチリビングにより、水平方向の拡張とリモートの災害復旧を実現できます。サイトは、毎年ダブル11に一時的に確立され、9月に完成し、ダブル11の2週間後に削除されます。

3.Aliのビジネス機能の概要-さまざまな場所にさらにデータベースを作成します

では、RDSはさまざまな場所での生活をどのように処理するのでしょうか。さまざまな場所でより多くの生活を送るということは、さまざまな場所でより多くのことを書くことを意味します。次の図は、さまざまな場所での複数のアクティビティをサポートするデータベースの分布を示しています。まず、トランザクション、ショッピングカート、商品など、複数の中央環境に対応する中央DBが必要です。中央データベースによって書き込まれたデータは、対応するストアに送信されます。これにより、複数のスレッドが調整されたときにデータベースのパフォーマンスに影響を与える問題を回避できます。ライターは、対応するユニットDBにデータを書き込む責任があります。ユニットDB内のデータは、ストアを介して中央のライターに返され、中央のDBに戻されます。データのプッシュがネット型ではなくスター型であることがわかります。これはいくつかの考慮事項によるものです。まず、DTLを実行するのが難しい。誰もがDTLを実行していて、コピーが簡単です。次に、スター型の構造で少なくとも1つのノードデータを保証できます。ユニットDBがダウンしていても、中央DBに完全なデータが存在するため、グローバルに一貫性があります。

4.Aliのビジネス機能の概要-リモートでの読み取り専用データベース

Aliのビジネス機能により、データベースはリモート読み取り専用機能をサポートする必要があります。学習者ノードには完全なデータがあり、Paxosプロトコルには影響しません。各学習者ノードは災害復旧ノードである必要があります。データベースのネイティブレプリケーションに基づく高い一貫性。MySQL内部データの一貫性を確保するため。したがって、データベースのアーキテクチャは下図の右側のようになります。中央には、フォロワー、ロガー、ラーナーの3種類のノードがあり、それらを切り替えることができます。各ユニットには学習者ノードと予備の学習者ノードがあり、ユニットアプリケーションもユニット学習者にあります。レベル1の災害復旧が必要であると仮定すると、ユニットの書き込みウェイトをセンターにルーティングしてから、センターを介して各ユニットに配置できるため、グローバルな一貫性を実現できるだけでなく、さまざまな場所で複数の書き込みを実現できます。

2.データベース管理および制御プラットフォームの進化

1.データベース管理および制御プラットフォームの定義

データベースの管理と制御を行うことはデータベースの運用と保守を行うことであると誤解されることがよくありますが、実際にはそれほど単純ではありません。データベースの管理と制御には多くのことがあります。
まず、データベースの高可用性は独立したモジュールであり、業界で一般的に使用されているのはHA戦略です。データのバックアップ、業界には完全バックアップ、ログバックアップ、データトレースバックアップなどのバックアップ戦略があります。データベースの運用と保守インスタンスの作成、インスタンスの変更、インスタンスの破棄、主要なバックアップデータベースなど、IDC、サーバーの選択、ハードウェアの運用と保守、CMDBなどのインフラストラクチャの構築、データベース監視リンクとデータアラームリンクの2つの異なるモジュールを含みます。データベースの計測と請求、リソーススケジューリング、コンソール、ゲートウェイ、サービス検出などのデータベース基盤サービス、データベースセキュリティ、データベースインテリジェント診断、データベースインテリジェントパラメータ調整、パフォーマンスチューニングなどのインテリジェントデータベースも、現在メインモジュールです。 ;構成、パラメーター、ステータス検査などのデータ検査、ネットワーク管理、障害ドリル、さまざまな場所での生活など。

データベース管理制御プラットフォームに含まれるコンテンツを大まかにリストしても、モジュールが多く、システムが高く、プラットフォームが複雑になり、データベースへの依存度が高いため、必然的に可用性につながることがわかります。プロモーションをリクエストしました。では、これらの要件をどのように満たす必要がありますか？

2.アリババのデータベース管理および制御プラットフォームの進化

アリババのデータベース管理および制御プラットフォームは、数世代前の世代の努力も経験しました
。1）2003年には、DBAのような職業はありませんでした。Aliは、SA（システム管理者）チームからクラスメートをDBAに削除しました。これは、純粋に手動の操作と保守です。
2）2006年に、NagiosやCactiなどの業界で人気のあるオープンソースツールの使用を開始しました。
3）2009年、アリは独自の研究を開始し、NagiosやCactiなどのオープンソースツールに代わる第1世代の運用および保守システム「Beidou」を独自に開発しました。
4）2010年、AlibabaはIOEの削除に取り組み始め、管理と制御の大規模な運用と保守を加速しました。AlibabaのMySQL運用保守システムの第1世代が誕生しました。これが「秘密」です。主に監視、可用性、およびバックアップのために。これは単一のアプリケーションです。
5）2013年、事業規模の継続的な拡大に伴い、アリの第2世代MySQL運用保守システム「DBFree」が誕生しました。主に自動化された操作とメンテナンスのため。
6）2016年、Alibabaの第3世代データベース運用および保守システム「DBPaaS」は、さまざまな場所およびハイブリッドクラウドでの複数のアクティビティのビジネスニーズを満たすために誕生しました。
7）2018年には、基盤となるIaaSがクラウドに移行し、クラウドリソースを使用します。
8）2020年に、Alibabaのeコマースデータベースがクラウド上で完全に起動され、クラウドの管理と制御が開始されます。すべてのコアデータベース（トランザクション、ショッピングカート、製品、割引など）とコアリンクは、クラウドデータベース専用クラスター（MyBase）モデルを採用しています。クラウドネイティブデータベースに基づいて、数万のノードが構築され、RPO = 0が達成されました。

クラウド上のデータベースの選択と考え方

1.クラウドスキームの選択-データクラウドスキームの選択

データクラウドソリューションには多くのオプションがあります。1つ目は、論理移行と物理移行のどちらを使用するかというデータクラウドの選択です。次の図は、2つのデータクラウド方式を比較しています。ほとんどの移行は、MySQL / DTSを使用した論理的な移行です。ただし、Alibabaのビジネス特性により大量のデータが発生するため、物理的な移行、XtraBackupクラウドのネイティブな物理的な移行が必要になります。2020年12月末にクラウドに移行した後、MyBaseは物理的なコンピュータールームプッシュモードを起動してクラウドに移行します。次の図から、移行、データオブジェクトの平滑化、データの一貫性、アクセス許可などの効率が論理的な移行よりも高いことがわかります。クラウドへの小規模なデータには論理的な移行で十分ですが、大規模なデータには物理的な移行の方が適しています。

2.クラウドプランの選択-ネットワークプランの選択

ネットワークに関してもいくつかのオプションがあります。1つはALBです。その最大の利点は相対的な成熟度ですが、明らかな欠点もあります。すべてのパケットはALBを通過する必要があり、極端なパフォーマンス要件を満たしていません。NGLBはALBの問題点を解決できます。最初のパケットのみがXGWを通過し、後続のパケットは通過する必要がありません。しかし、0時のシーンでは、NGLBは確かに耐えられません。NGLBはECSもサポートしていません。ENI（Elastic Network Interface）、業界が推奨するエラスティックネットワークインターフェイスソリューション。ただし、Elastic Network Cardソリューションにはまだ問題があります。つまり、物理マシンをサポートしていません。これにより、AlibabaはENI + RDSに向けて新たな一歩を踏み出しますが、現在この製品を発売する予定はなく、ネットワークカードは双方向に接続されているため、セキュリティ上のリスクがあります。Aliは現在ENI + MyBaseソリューションを使用しています。このソリューションの利点は、アプリケーションとデータベースが同じネットワークプレーン上にあり、間にエージェントレイヤーがないため、より効率的であるということです。しかし、管理と制御に関しては、複雑さが大幅に増しています。マシンには、ユーザーが使用するネットワークカードと物理マシンのネットワークカードの2つのネットワークカードがあります。マシンは、データリンクと制御リンクの2つの操作を実行する必要があります。データには双方向のリンケージとパフォーマンスの問題が必要であることを考慮して、ENIが使用され、セキュリティの問題も考慮されるため、ENI + MyBaseが使用されます。

3.クラウドプランの選択-ネットワークトポロジ図

次の図に示すように、最上位層はデータベース管理および制御プレーンであり、次の層はRDS販売エリアのVPCです。ユーザーセンターVPCとユーザーユニットVPCは、CENを介して開かれ、完全なリンクが開かれます。ここでは、AlibabaCloud製品を使用してクラウドアーキテクチャ全体をサポートしています。クラウドの下では、ユーザーの自作ネットワークをサポートし、ユーザーの自作ネットワークを専用回線を介してユーザーセンターVPCおよびユーザーユニットVPCに接続します。ユーザーが構築したネットワークは、専用回線を介して接続されます。データベース全体がユーザー間で接続されていることを確認します。

4.クラウドプランの選択-ベアゴールドサーバー

アリババは通常の金属サーバーを使用しませんでしたが、ベアゴールドサーバーを使用しました。それらの違いは、ベアゴールドサーバーの
下部にX-Dragonと呼ばれるチップがあり、MOCカードとも呼ばれることです。マシン自体はリソースを消費しますが、「Shenlong」サーバーを使用した後、この部分を完全に取り除くことができます。つまり、96C、768Gマシンを購入すると、リソースが非常に多くなり、仮想化のコストによって余分なものがもたらされることはなくなります。 s費用。MOCカードのもう1つの機能は、VPC / SLBやEBSクラウドディスクなどの上位コンポーネントがMOCカードによって仮想化されることです。これにより、他のコストが大幅に削減されます。つまり、マシンが仮想マシンと同じユーザーエクスペリエンスになります。

X-Dragonアーキテクチャを使用すると、100％の物理マシンのパフォーマンスと機能を備えたクラウドサーバーを数分で作成できます。VPC、SLB、RDSと互換性があり、クラウドディスクの起動とクラウドディスクのマウントをサポートし、仮想マシンイメージと互換性があり、物理マシンのパフォーマンスと隔離、。人間の肉の自動操作とメンテナンスを排除します。ECSを使用すると、ダウンタイム後10分以内にデータベースを所定の場所にプルアップし、移行して復元することもできます。

次の図のいくつかの考慮事項に基づいて、物理マシン、仮想マシンKVM、およびベアメタルサーバーECSを比較した後、Alibabaはベアメタルサーバーを選択しました。運用と保守の自動化に関して、ベアメタルサーバーは分レベルの配信をサポートします。MOCカードを使用するマシンは無損失です。ストレージに関しては、ベアメタルサーバーオペレーティングシステムはクラウドディスクを使用しているため、システムディスクをすばやくリセットできます。ネットワークに関しては、物理マシン部分がネットワークの一貫性をサポートします。ベアメタルサーバーソリューションと仮想マシンはどちらも、ECSの既存の管理および制御と互換性があります。

クラウドソリューションの選択-ストレージの選択

ストレージがクラウドディスクを使用する理由について簡単に説明しましょう。当初、クラウドディスクの上限は16Tでしたが、現在は32Tになっており、基本的には99％以上のユーザーのデータベースニーズに対応できますが、物理マシンの上限は最大6Tです。クラウドディスクは分レベルのバックアップをサポートできますが、以前の方法では1Tデータの移行に3時間かかります。クラウドディスクの分レベルのインスタンスクローン、分レベルのインスタンスのクロスリージョンクローン、データのオンライン拡張。データベースのパフォーマンスを設定する際に、運用および保守担当者が問題を抱えています。代替手段はありません。クラウドディスクは構成可能なディスクIOPSをサポートできます。つまり、運用および保守担当者はデータベースIOスループットを強制できます。現在の最大スループットは500MB /秒です。MySQLには二重書き込みの機能があります。クラウドディスクはMySQLアトミック書き込みをサポートしているため、1回の書き込みのオーバーヘッドが削減されます。信頼性の観点から、物理マシンは常に分散ストレージほど高くはありません。ECSにはPODが含まれ、コンテナをプルアップし、ESSDストレージを使用し、下部は分散ストレージです。

クラウドプランの選択-リモート読み取り専用（GAN）

現在、AlibabaCloudはリモート読み取り専用クラウド機能をまだ開いていません。アリババは、主にグローバルデータベースネットワークソリューションに基づいて、各地域から独立することを望んでいます。Shanghaiアプリは、MaxScaleを使用してShanghaiデータベースにアクセスします。同様に、Shenzhenアプリは、MaxScaleを介してネイティブデータベースリーダーに一部転送され、Shenzhenデータベースに一部転送されるため、さまざまな場所で複数の書き込みが実現されます。

7.クラウドプランの選択-MyBaseの機能を最大限に活用する

MyBaseを使用する理由下の図に示すように、クラウドホストのペアを購入し、左側にいくつかのリーダーといくつかのフォロワーをバックアップし、右側に同じものをバックアップしました。ノード間の親和性、クロスオーバー、売られ過ぎ、および柔軟性を実現します。MyBaseは、2つのマスターと2つのバックアップを使用して、最高のパフォーマンスを発揮し、次にアフィニティを使用して交差させることができます。ショッピングカートのデータと他のデータベースは一緒ですが、互いに独立しています。ビジネス機能には一時的な拡張が必要なため、この状況は非常に一般的であり、MyBaseは動的なパラメーター調整を実現できます。最下層はクラウドディスクを使用しているため、弾力性のある要件を満たすことができます。

8.クラウドプランの9つの機能

要約すると、クラウド移行計画は次の9つの特性を満たす必要があります。

高可用性：データベースマスターおよびバックアップアーキテクチャ、高可用性保証、自動切り替え、およびダウンタイムの修復。
高い信頼性：データベースの複数コピーの保証、データ同期の調整可能な整合性の保証（RPO優先度）、3ノードのエンタープライズバージョンRPO = 0の保証。
高性能：オープンソースバージョンのMySQL（1.5x）\ Redis（3x）と比較して、カーネルパフォーマンスが向上しています。
高セキュリティ：SSLリンク暗号化、TDEディスク暗号化、監査ログシステムなど。イベント前、イベント中、イベント後にデータベースのセキュリティを確保します。
運用および保守機能：バックアップとリカバリ、アラームの監視、インテリジェントな運用と保守の診断など、データベースの運用と保守のソリューションの完全なセット。
自律的で制御可能：オープンOSとデータベースの完全な権限、オープンデータベース管理と制御プラットフォームの標準化されたボトムインターフェイス、ユーザーはデータベース管理ロジックを大幅にカスタマイズできます。
混合部門：MySQL、Redisなどの混合展開であり、クラウドデータベース管理機能を提供します。
リソースのスケジューリング：物理ホストリソースプールはユーザー専用であり、インスタンスの割り当てと配布の戦略は、ビジネス要件を満たすようにカスタマイズできます。
オーバーアロケーション機能：ユーザーの物理リソースを100％分離し、CPU、メモリ（Redis）、スペースなどのリソースのオーバーアロケーションをサポートします。

データベースをクラウドに移動する際の考慮事項がいくつかあります。まず、自作データベースは多くのデータベース管理および制御プラットフォーム機能をサポートしておらず、RDSはエラスティックネットワークカードなどの一部の機能をサポートしています。MyBaseは、RDSに基づいて派生した製品であり、基本的にこれらの9つの機能をサポートできます。

4.まとめと将来の展望

1.良い雲、良い雲

クラウドに移行するAlibabaのデータベースは、ビジネスシナリオ、クラウドネイティブテクノロジー、およびAlibabaCloudの内部変革の促進に基づいています。現在、2020年のダブル11の取引量は4,982億件に達し、ピーク時の注文数は1秒あたり583,000件です。クラウドネイティブデータベースは、これらのビジネスをスムーズにサポートできます。アリババのeコマースデータベースをクラウドに移行することは、データベースをクラウドに移行することだけでなく、クラウドをうまく使用する方法についても考えることです。アリババのビジネスをサポートするために、アリババクラウドは多くの内部変革を行いました。アリババクラウドクラウドネイティブコントロールとクラウドネイティブデータベーステクノロジーを使用して、企業がスムーズなクラウド移行の目標を達成し、リソースの最大化とコストの最適化の目標を達成できるようにします。

2.将来の展望

クラウドに移行するデータベースは、いくつかの主要な段階を経ます。最初の段階は物理マシンの段階であり、続いてストレージとアカウンティングが分離されました。Alibabaは2016年にストレージとアカウンティングの分離を開始し、次に現在のMyBaseフォームに移行しました。将来的には多様性の発展がたくさんあると思います。将来的には、MySQLだけでなく、OLTPデータベースもたくさんあるでしょう。最後に、データベースのインテリジェント化は、将来の主要なトレンドでなければなりません。

この講義のPPTをダウンロードするには、ここをクリックしてください