Alibaba Cloud - クラウドデータベース管理とデータ移行

  • 著者について: クラウド コンピューティング ネットワークの運用保守担当者。ネットワークと運用保守の技術と乾物を日々共有しています。 

  •  座右の銘:頭を下げて道を急ぎ、礼儀正しく

  • 個人ホームページ:Netdouのホームページ

目次

目次

1. クラウドデータベースの導入と利用シーン

1. クラウドデータベースの概要

2. クラウドデータベースの特徴

3. Alibaba Cloud RDS の概要

4. MYSQL 用の ApsaraDB

5. クラウドデータベースと自社構築データベースの比較

6. クラウドデータベース機能

7. 多様なデータストレージ

8. リモートデータ災害復旧

9. ビッグデータ分析シナリオ

2. ApsaraDB for MySQL の基本概念

1.ApsaraDB for MySQL版製品

 2. インスタンス、データベース。アカウント

3. 内部および外部ネットワークアドレス

4. アクセスモード

5. ホワイトリスト

3. インスタンス、データベース、アカウントを作成する

1. クラウドデータベースの迅速な管理プロセス

 2. クラウドデータベースインスタンスの作成手順

4. SQL操作とデータのインポートとエクスポート

1. クラウドデータベースに接続する

2. DMSのメリット

5. データベースのクラウドへの移行

1. データベース移行とは何ですか

2. MySQL 移行ツール

Mysqldump

PhpMyAdmin

3. データ転送サービス DTS

4. データベースクラウド移行の条件

6. クラウドデータベースの運用・保守のための共通設定

1. 設定を変更する

 2.パラメータの設定

 3. アベイラビリティーゾーンの移行

 4. アクティブインスタンスとスタンバイインスタンスを切り替える

 5. データ複製方法


目次

  1. クラウドデータベースの導入と利用シーン
  2. クラウドデータベースの基本概念
  3. インスタンス、データベース、アカウントを作成する
  4. データのインポートとエクスポートおよび SQL 操作
  5. データベースのクラウドへの移行
  6. クラウドデータベースの運用・保守のための共通設定
  7. 実験

1. クラウドデータベースの導入と利用シーン

1. クラウドデータベースの概要

クラウド コンピューティング プラットフォーム上に構築されたクラウド データベースは、従来のデータベース エンジンの制限を克服し、従量課金制で、安定性、信頼性、弾力的に拡張可能なオンライン データベース サービスです。ソフトウェアやハードウェアを購入する必要はなく、IT インフラストラクチャを保守するための専任スタッフも必要ありません。

クラウド データベースを使用すると、クラウドでデータベースを簡単にセットアップ、操作、拡張できます。時間のかかるデータベース管理タスクを管理しながら、コスト効率の高いサイズ変更可能な容量を提供するため、ユーザーはアプリケーションやビジネスに集中できるようになります。


2.クラウドデータベースの特徴

  1. ストレージ容量とコンピューティング能力の要件に応じて支払います
  2. クラウドポータビリティ
  3. オンデマンドで拡張可能
  4. 高可用性 (HA)


3. Alibaba Cloud RDS の概要

リレーショナル データベース サービス (RDS) は、安定性、信頼性が高く、弾力的に拡張可能なオンライン データベース サービスです。Feitian 分散システムとフルSSD 高性能ストレージに基づいて、MySQL、SQL Server、PostgreSQL、MariaDB Tx エンジンをサポートし、災害復旧、バックアップ、リカバリ、監視、移行などのための完全なソリューション セットを提供します。データベースの運用・保守のトラブル解決に貢献します。


4. MYSQL 用の ApsaraDB

Alibaba Cloud Database の MySQL バージョンは、Alibaba の MySQL ソース コード ブランチに基づいており、ダブル 11 の期間中に高い同時実行性を達成しました。大容量データのテスト。

  1. 優れたパフォーマンスとスループットを備えています
  2. 最適化された読み書き、データ圧縮、インテリジェントチューニングなどの高度な機能。

MySQL は、世界で最も人気のあるオープンソース データベースです。

オープンソース ソフトウェアの組み合わせである LAMP (Linux+Apache+MySQL+Perl/PHP/Python) の重要な部分として、さまざまなアプリケーションで広く使用されています

Web 2.0 の時代では、ネットワーク上のコミュニティ フォーラム ソフトウェア システム Discuz と Fengfu のブログ プラットフォーム Wordpress は、基礎となるアーキテクチャを実装するために MySQL に基づいています。

Web 3.0 時代には、Alibaba、Facebook、Google などの大規模インターネット企業は、より柔軟な MySQL を使用して、成熟した大規模データベース クラスターを構築しました。


5. クラウドデータベースと自社構築データベースの比較


6. クラウドデータベース機能

安全性

セキュリティの前:

接続インスタンスの IP ホワイトリストを許可する

アクセスソースの制御

サポート VPC


セキュリティの場合:

SSLをサポート

中間者攻撃を排除する

透過的データ暗号化 (TDE) をサポート

ディスク上のデータの自動暗号化


セキュリティの後:

RDSはアクセス元を記録するSQL監査機能をサポート


可用性:

アクティブおよびスタンバイのアーキテクチャ:

2 つのインスタンスが異なるサーバー上にあります

データを自動的に同期する

プライマリ インスタンスに障害が発生した場合、自動的にスタンバイ インスタンスに切り替わります


都市内の災害復旧:

アクティブインスタンスとスタンバイインスタンスを異なるアベイラビリティゾーンにデプロイする

独立した電源

ネットワーク環境によりデータの信頼性が向上


リモート災害復旧:

ユーザーは別の場所にバックアップし、マスター インスタンスに切り替えてビジネスの可用性を確保できます。


スケーラビリティ:

弾力的な拡張、100% のリソース利用

インスタンスのメモリとディスク容量はオンデマンドでアップグレード可能

各読み取り専用インスタンスには個別の接続アドレスがあります。

アプリケーションによって圧力分布を制御


使いやすさ:

内部ネットワークと外部ネットワーク間の同時接続による管理の容易化

2 年間の自動バックアップとデータ復元により、システム障害の 90% 以上を解決します。

自動監視と早期警告、定期的な性能検査


7. 多様なデータストレージ

RDS は、ApsaraDB for Memcache、ApsaraDB for Redis、オブジェクト ストレージ OSS などのストレージ製品と併用することができ、多様なストレージ拡張が求められています。


8. リモートデータ災害復旧

ユーザーは、DTS データ送信サービスを利用して、自作のコンピューター室にあるデータベースを、Alibaba Cloud データベース上の任意のリージョンの RDS インスタンスにリアルタイムで同期できます。


9. ビッグデータ分析シナリオ

ビッグ データ コンピューティング サービス (MaxCompute、旧名 ODPS) は、大規模なデータ ウェアハウスとビッグ データの分析およびモデリング サービスのソリューションを提供します。

データ統合サービスにより、RDS データを MaxCompute にインポートし、大規模なデータ計算を実現できます。


2. ApsaraDB for MySQL の基本概念

1.ApsaraDB for MySQL版製品

 

 2. インスタンス、データベース。アカウント

例:

  1. 物理メモリを独立して占有するデータベース サービス プロセス
  2. ユーザーはさまざまなメモリ サイズ、ディスク容量、データベース タイプを設定でき、内部インスタンス メモリの仕様によってインスタンスのパフォーマンスが決まります。
  3. インスタンスの作成後、構成を変更したり、インスタンスを削除したりできます。

データベース

  1. インスタンスの下に作成された論理ユニット
  2. 1 つのインスタンスで複数のデータベースを作成でき、MySQL タイプのインスタンスは通常権限のアカウントを 500 個持つことができ、高権限のアカウントによって作成されるデータベースの数に制限はありません
  3. データベースにはインスタンス内で一意の名前が付けられます

アカウント

  1. 各データベース アカウントは複数のデータベースに使用できます
  2. 各データベースの読み取りおよび書き込み権限を複数のデータベース アカウントに割り当てることもできます
  3. インスタンスは複数の共通アカウントを作成できます。特定の数はインスタンス コアに関連しています
  4. インスタンス内に作成できる高特権アカウントは 1 つだけです

3. 内部および外部ネットワークアドレス

内部アドレスと外部アドレスを別々に使用します。

システムはデフォルトでイントラネット アドレスを提供しますが、接続ア​​ドレスは直接変更できます。

これは、アプリケーション部門が RDS インスタンスと同じリージョンの ECS 上にあり、RDS インスタンスのネットワーク タイプが ECS のネットワーク タイプと同じである場合に適用されます。


外部ネットワーク アドレスのみを使用します。

これは、アプリケーションが RDS とは別のダンジョンの ECS にデプロイされている場合に適用されます。

これは、アプリケーションがインターネット以外のシステムにインストールされている場合に適用されます。


内部ネットワーク アドレスと外部ネットワーク アドレスを同時に使用します。

アプリケーション デプロイメントのモジュールが、RDS インスタンスと同じリージョンおよびネットワーク タイプの ECS にデプロイされている場合と、RDS インスタンスとは異なるリージョンまたはネットワーク タイプの ECS にデプロイされている場合に適用されます。

RDS インスタンスとネットワーク タイプと同じリージョンにデプロイされているアプリケーション デプロイメント内のモジュールに適用されます。

同じタイプの ECS および Ahliyun 以外のシステムで実行している場合。


4. アクセスモード

標準モード

  1. クラウド データベースはロード バランシングを使用して、データベース エンジンの HA スイッチングがアプリケーション層に及ぼす影響を遮断し、応答時間を短縮します。
  2. ただし、接続が切断される可能性がわずかに増加し、SQL をインターセプトする能力が失われます。
  3. このモードでは、1 つの接続アドレスのみがサポートされます。インスタンスに内部ネットワーク アドレスと外部ネットワーク アドレスの両方がある場合は、まず、
  4. 内部ネットワーク アドレスまたは外部ネットワーク アドレスが解放された後でのみ、標準モードに切り替えてください。

ハイセキュリティモード

  1. 90%の接続フラッシュ切断とSQLインターセプトを防止する機能を備えています(SQLセマンティック分析に基づいてSQLインジェクション攻撃に対する防御を実現します)
  2. ただし、応答時間は 20% 以上増加します
  3. このモードは、内部ネットワーク アドレスと外部ネットワーク アドレスの共存をサポートします。

5. ホワイトリスト

  1. データベースのセキュリティと安定性を確保するために、データベースにアクセスする必要がある IP アドレスまたは IP セグメントをホワイトリストに追加します。
  2. ターゲット インスタンスを有効にする前に、まずホワイトリストを変更する必要があります。
  3. MySQL の各インスタンスは最大 50 個のホワイトリスト グループを追加でき、各ホワイトリスト グループは最大 1000 個の IP アドレスまたは IP セグメントを追加できます。
  4. ホワイトリスト機能は、IPアドレスまたはIPセグメントの設定をサポートします。
  5. % または 0.0.0.0/0 は、あらゆる IP アクセスを許可します。この設定によりデータベースのセキュリティが大幅に低下します

3.インスタンス、データベース、アカウントを作成する

1. クラウドデータベースの迅速な管理プロセス

 2. クラウドデータベースインスタンスの作成手順


4. SQL操作とデータのインポートとエクスポート

1. クラウドデータベースに接続する

MySQLクライアント

接続入力ボックスにデータ インスタンス リンク アドレス、ポート (デフォルト 3306)、データベース ユーザー名、およびデータベース パスワードを入力し、[OK] をクリックします。

mysqlコマンドライン

コマンド形式: mysql-u user_name-h、example.mysql.alibabalabs.com –P3306-pxoox、ここで、u はユーザー名を指定し、h はホスト名を指定し、-P はポートを指定し、-p はパスワードを指定します

DMS アクセス (アリユン)

データ管理は、MySQL、SQL Server、PostgreSQL、MongoDB、Redis、その他のリレーショナル データベースと NoSQL データベース管理をサポートし、Linux サーバー管理もサポートします。


2. DMSのメリット

  1. データ分析機能を簡単に所有できる
  2. 研究開発効率を大幅に向上
  3. データベースのパフォーマンスをリアルタイムで最適化する
  4. 包括的なアクセスセキュリティ保護
  5. 豊富なデータソースのサポート

5. データベースのクラウドへの移行

1. データベース移行とは何ですか

 データベースのクラウド移行の目的は、さまざまなデータベースソース間のデータ移行を容易かつ迅速に実現し、以下のようなビジネスシナリオなどを実現することです。

  1. オフラインの自己構築データベースをクラウド データベース RDS に移行する
  2. クラウド上に独自に構築したデータベースをクラウド データベース RDS に移行する
  3. Alibaba Cloud 内でのインスタンス間の RDS データベース移行
  4. 他のパブリック クラウド データベースから Alibaba Cloud RDS に移行する

クラウドへのデータベース移行では、異種データベース ソース間の移行をサポートする必要がある

完全なデータベース移行には、ライブラリ リストの 3 レベル マッピングやデータ フィルタリングなどの複数の ETL 機能もサポートする必要があります。


2. MySQL 移行ツール

>従来のデータベース移行ツールのデータをクラウド データベース RDS に使用する

> データ転送サービス (DTS) を介してクラウド データベース RDS にデータを移行する

Mysqldump

主にMySQLデータベースの保存データをダンプするために使用されます。基本的に、データベースを最初から再作成するために必要なコマンド CREATE TABLE INSERT などを含む SQL スクリプトを生成します。

PhpMyAdmin

PhpMyAdmin は、Web ベースの方法で Web サイトのホスト上に構築された MySQL データベース管理ツールであり、管理者が Web インターフェイスを使用して MySQL データベースを管理できるようにします。MySQL データベースを移行するには同期機能を使用します。これにより、単一のデータ テーブルまたはデータベース全体の同期を実現できます。


3. データ転送サービス DTS

データ転送サービス (データ転送サービス) DTS は、リレーショナル データベース、NoSQL、ビッグ データ (OLAP)、およびその他のデータ ソース間のデータ転送をサポートします。データ移行、データサブスクリプション、リアルタイムデータ同期を統合したデータ送信サービスです。

  1. データ移行
  2. データサブスクリプション
  3. データの同期
  4. 万全の監視体制

 DTS の 3 つの移行モード

 


4. データベースクラウド移行の条件

RDS データベースを作成する

データ移行中に、移行対象のデータベースがターゲット RDS インスタンスに存在しない場合、DTS によって自動的に作成されます。

次の 2 つの場合、データベースを手動で作成する必要があります。

  1. ・データベース名がRDS定義の仕様に準拠していません
  2. ·移行するデータベースの名前が、ソース MySQL インスタンスとターゲット RDS インスタンスで異なる

移行アカウントを作成する

  1. ソース インスタンスとターゲット RDS インスタンスの移行アカウントを指定します。
  2. 上記のアカウントをお持ちでない場合は、別途作成する必要があります
  3. さまざまなストレージ エンジンの特定のニーズを満たすデータベース権限

移行手順


6. クラウドデータベースの運用・保守のための共通設定

1. 設定を変更する

現在のインスタンス構成がアプリケーションのパフォーマンス要件を満たせない場合、または現在のインスタンス構成が高すぎる場合は、インスタンス構成を変更できます。

変更された構成が有効になっている間、サービスは 30 秒以内にフラッシュ切断が発生する可能性があります。

 2.パラメータの設定

RDS を使用すると、ユーザーはいくつかのインスタンス パラメータをカスタマイズできます

クラウド データベースのパラメーターを設定する方法は、基本的にローカル データベースのパラメーターを設定する方法と似ています。

いくつかのパラメータを変更した後、インスタンスを再起動する必要があります

 3. アベイラビリティーゾーンの移行

RDS インスタンスは、単一の可用性ゾーンと複数の可用性ゾーンの選択をサポートしており、複数の可用性ゾーンを持つインスタンスは、より高いレベルの災害に耐えることができます。

インスタンスをアベイラビリティ ゾーンに移行することは、インスタンス データを新しいアベイラビリティ ゾーンにコピーするプロセスであるため、インスタンス レベルの移行になります。アベイラビリティ ゾーンの移行後、インスタンスのすべての属性と構成は変更されません。

 4. アクティブインスタンスとスタンバイインスタンスを切り替える

ホットスタンバイアーキテクチャを採用しており、物理サーバー障害発生後も数秒でサービスを切り替えることができます。切り替えプロセス全体はアプリケーションに対して透過的です。

アクティブ インスタンスとスタンバイ インスタンスの切り替え中に断続的な中断が発生する可能性があり、アプリケーションに再接続メカニズムが必要になります。

 5. データ複製方法

ユーザーは、自身のビジネス特性に応じてさまざまなデータ レプリケーション方法を選択し、クラウド データベースの可用性を向上させることができます。

 


  作成は簡単ではありません、注意してください、いいね、収集、ありがとう~ 

おすすめ

転載: blog.csdn.net/yj11290301/article/details/131713298