HHU クラウド コンピューティング 最終レビュー (パート 2) Hadoop、仮想化テクノロジ、オープンスタック

概念を暗記するための知識ポイントはすべて、本に従う必要があります。字幕がある場合は、字幕を覚えてください。

半開きです、あまり詳しく書くのが面倒です

後半はテストセンターに従うだけで、前半はもっと読む必要があります（テストセンターだけでなく）

このアップの関連記事は非常に興味深いものです。使用する教科書は同じですが、試験のポイントが異なります。時間があれば読んでください。Zhihu

第5章 Hadoop

https://chu888chu888.gitbooks.io/hadoopstudy/content/

Hadoop は、Apache Foundation によって開発された分散システム インフラストラクチャです。ユーザーは、主にビッグデータの処理に使用される Hadoop に基づいて分散コンピューティングをプログラミングできます。

Hadoopクラウドコンピューティングシステム	Google クラウド コンピューティング システム
Hadoop HDFS	Google GFS
Hadoop MapReduce	Google MapReduce
HBase	Googleビッグテーブル
動物園の飼育員	Google ぽっちゃり
豚	グーグルソーザル

分散ファイルシステム HDFS

複数のコンピュータがネットワーク上で連携して (クラスタと呼ばれることもあります)、単一のシステムのように特定の問題を解決するシステムを分散システムと呼びます。分散ファイル システムは分散システムのサブセットであり、分散ファイル システムが解決する問題はデータ ストレージです。言い換えれば、これらは複数のコンピュータにまたがるストレージ システムです。分散ファイル システムに保存されたデータは、さまざまなノードに自動的に分散されます。

メタデータとデータの分離: NameNode と DataNode

Hadoop のいくつかの基本概念

• ファイル システムに保存されているすべてのファイルには、関連するメタデータがあります。メタデータにはファイル名、i ノード (inode) 番号、データ ブロックの場所などが含まれますが、データはファイルの実際の内容です。

• 従来のファイル システムでは、ファイル システムが複数のマシンにまたがらないため、メタデータとデータは同じマシンに保存されます。

• クライアントが使いやすく、他のクライアントが何をしているかを知る必要がない分散ファイル システムを構築するには、メタデータをクライアントの外部で維持する必要があります。HDFS の設計哲学は、メタデータを保存するために 1 つ以上のマシンを取り出し、残りのマシンにファイルのコンテンツを保存させることです。

• NameNode と DataNode は、HDFS の 2 つの主要コンポーネントです。このうち、メタデータは NameNode に保存され、データは DataNode のクラスターに保存されます。NameNode は、HDFS に保存されているコンテンツのメタデータを管理するだけでなく、どのノードがクラスターの一部であるか、ファイルのコピー数なども記録します。また、クラスター内のノードがダウンした場合、またはデータのコピーが失われた場合にシステムが何を実行する必要があるかも決定します。

  • 名前ノード
    • NameNode は、Hadoop デーモン プロセスで最も重要なものです。Hadoopは、分散コンピューティングと分散ストレージの両方でマスター/スレーブ (マスター/スレーブ) 構造を採用しています。分散ストレージ システムは、Hadoop ファイル システム、または単に HDFS と呼ばれます。NameNode は、 HDFS のメインエンドに位置し、DataNode が基礎となる IO タスクを実行できるようにします。
    • NameNode を実行すると、大量のメモリと IO リソースが消費されます。したがって、マシンの負荷を軽減するために、NameNode 上にあるサーバーは、通常、ユーザー データを保存したり、MapReduce プログラムの計算タスクを実行したりしません。これは、次のことを意味します。 NameNode サーバーは同時に DataNode または TaskTracker になることはありません。
    • ただし、NameNode の重要性は、Hadoop クラスターの障害という悪影響ももたらします。
  • データノード
    • クラスター上の各スレーブ ノードは、分散ファイル システムの負荷の高い作業を実行し、ローカル ファイル システムの実際のファイルに対して HDFS データ ブロックを読み書きするための DataNode デーモン プロセスをホストします。ファイルは複数のブロック**に分割されており、NameNode は各データ ブロックがどの DataNode** に存在するかをクライアントに伝えます。クライアントは DataNode デーモン プロセスと直接通信して、データ ブロックに対応するローカル ファイルを処理します。ただし、DataNode は他のデータノードは冗長性のためにこれらのデータ ブロックを複製します。
  • セカンダリ ネームノード
    • SNN は、HDFS クラスターのステータスを監視する補助デーモン プロセスです。通常、他の DataNode または TaskTracker デーモン プロセスを実行しないサーバーを独占します。SNN と NameNode の違いは、リアルタイムの変更を受信または記録しないことです。 HDFS: 代わりに、NameNode と通信して、クラスターによって設定された間隔で HDFS メタデータのスナップショットを取得します。
    • NameNode は Hadoop クラスターの単一障害点であり、SNN のスナップショットはダウンタイムを短縮し、データ損失のリスクを軽減するのに役立ちます。ただし、NameNode の障害には手動による介入が必要です。つまり、クラスターを手動で再構成する必要があります。 SNN をプライマリ NameNode として使用します。

• HDFS に保存されている各データには、異なるサーバーに複数のコピー (レプリカ) が保存されています。本質的に、NameNode は HDFS の Master (マスター サーバー) であり、DataNode は Slave (スレーブ サーバー) です。

• トポロジー

  • 

• 非常に鮮やかな漫画:原則的な漫画

パイプラインのレプリケーション

(DataNode は他の DataNode と通信して、冗長性を確保するためにこれらのデータ ブロックを複製します)

Hadoop 分散ファイル システム (HDFS) では、データの信頼性を向上させるために、各データ ブロック (ブロック) が複数の DataNode に複製されます。このプロセスでは、最初にレプリケーション用の DataNode が選択され、次に DataNode がデータ ブロックを次の DataNode に転送して、レプリケーションの「パイプライン」を形成します。このようにして、データ ブロックを複数の DataNode に同時に複製できるため、データ複製の速度が大幅に向上し、NameNode の負荷が軽減されます。これは Hadoop のパイプライン レプリケーション メカニズムです。

このパイプライン複製メカニズムは、ベルトコンベア上の作業者にたとえられ、各作業者が作業を終えると、アイテムを次の作業者に渡します。この際、各作業者が同時に作業できるため、作業効率が向上します。

第7章 仮想化技術

7.1 仮想化テクノロジーの概要

• 従来のデータセンターと仮想データセンター

  • 従来のデータセンター
    • さまざまなテクノロジーを活用して
    • ビジネス間で隔離される
    • 複雑なネットワーク構造
  • 仮想データセンター
    • 高速
    • フラット
    • 仮想化

• 仮想化テクノロジーの概要

• クラウド コンピューティングの発展に伴い、従来のデータ センターは徐々に仮想化データ センターに移行しつつあります。つまり、仮想化テクノロジを使用して元のデータ センターの物理リソースが抽象化および統合されます。

  • リソースの動的な割り当てとスケジューリングを実現し、既存リソースの利用率とサービスの信頼性を向上します。
  • 自動化されたサービス プロビジョニング機能を提供して O&M コストを削減します
  • 一般顧客および企業顧客のセキュリティ ニーズを満たす効果的なセキュリティ メカニズムと信頼性メカニズムを備えています。
  • システムのアップグレード、移行、改修を容易にする

7.2 仮想マシンの移行

ホストには複数の仮想マシン VM が含まれています

• 仮想マシンの移行

  • 仮想マシン インスタンスをソース ホストからターゲット ホストに移行します。ターゲット ホストでは、仮想マシンの実行状態を移行前と同じ状態に復元できるため、アプリケーションのタスクを実行できます。続き

• ステップ

  • 

• 仮想マシンの移行は主に、プッシュ フェーズ、ストップ アンド コピー フェーズ、プル フェーズの 3 つのフェーズに分かれています。

  1. プッシュ フェーズ(1\2\3): このフェーズでは、実際のダウンタイムを短縮するために、ソース ホストは仮想マシンのメモリ ページ、特に頻繁に変更されないページをターゲット ホストに事前に転送します。
  2. ストップ アンド コピー フェーズ(4): このフェーズでは、ソース ホストは仮想マシンを一時停止し、残りのメモリ ページをターゲット ホストにコピーし、仮想マシンのステータス (プロセッサ ステータス、デバイス ステータスなどを含む) を送信します。 .) をターゲットホストに送信します。
  3. プル フェーズ(5\6): このフェーズでは、ターゲット ホストはソース ホストから残りのメモリ ページをプルします。これらのページがプルされると、ターゲット ホストは移行された仮想マシンを起動します。

  メモリの移行は、データの整合性を維持しながら仮想マシンのダウンタイムを最小限に抑える必要があるため、仮想マシンの移行プロセスで最も困難な部分です。

  実際、仮想マシンの移行プロセスには、上記の 3 つのフェーズが同時に含まれている必要はありません。たとえば、実際の状況と要件に応じて、プッシュ フェーズとストップ アンド コピー フェーズのみ、またはストップ アンド コピー フェーズとプル フェーズのみ、または単一フェーズが含まれる場合もあります。特定の戦略の選択は、仮想マシンの実行ステータス、ネットワーク環境、アプリケーション要件などの要因によって異なります。

7.3 ネットワーク仮想化

• 必要とする

  • コア層ネットワークは超大規模なデータ交換機能を備えています
  • 十分な10Gアクセス容量

• コアレイヤーネットワーク仮想化の利点

  • バーチャルシャーシ技術を提供
  • デバイス管理を簡素化する
  • リソース使用率の向上
  • スイッチング システムの柔軟性と拡張性を向上します。
  • 柔軟なスケジューリングとリソースの動的なスケーリングのサポートを提供します。

第 8 章 オープンスタック

Google Cloud Platform (GCP)、アマゾン ウェブ サービス (AWS)、Microsoft Azure、OpenStack はすべてクラウド コンピューティング プラットフォームです。これらのプラットフォームは、仮想化されたハードウェア リソース (コンピューティング、ストレージ、ネットワーキングなど) や高度なサービス (データベース、機械学習、ビッグ データ分析など) を含むさまざまなクラウド サービスを提供します。その主な目標は、ユーザーが独自の物理ハードウェアやデータ センターを使用せずにアプリケーションを迅速に起動して実行できるようにすることです。

1. パブリック クラウド プロバイダー: Google Cloud Platform (GCP)、アマゾン ウェブ サービス (AWS)、および Microsoft Azure はすべてパブリック クラウド プロバイダーです。サービスとしてのインフラストラクチャ (IaaS)、サービスとしてのプラットフォーム (PaaS)、サービスとしてのソフトウェア (SaaS) など、さまざまなクラウド サービスを提供しています。通常、パブリック クラウド プロバイダーは世界中のデータ センターでこれらのサービスを提供しており、ユーザーは物理ハードウェアを自分で保守することなく、必要な分だけ料金を支払います。ただし、パブリック クラウド サービスを使用すると、特にセキュリティとコンプライアンスに関して、ユーザーがインフラストラクチャの制御をある程度失う可能性があります。
2. OpenStack : OpenStack は、主に IaaS (Infra Structure as a Service) ソリューションを提供するオープンソースのクラウド コンピューティング プラットフォームです。OpenStack を使用すると、ユーザーは独自のデータセンターまたはプライベート クラウド環境でクラウド コンピューティング プラットフォームを構築および管理できます。したがって、OpenStack ユーザーは、データ ストレージ、コンピューティング リソースの割り当て、ネットワーク構造の設計などのインフラストラクチャを完全に制御できます。ただし、OpenStack を使用するには、インストール、構成、メンテナンスに特定の技術スキルとリソースが必要です。

OpenStack は、主にサービスとしてのインフラストラクチャ (IaaS) を提供するオープンソースのクラウド コンピューティング プラットフォームです。OpenStack は一連のコンポーネントで構成されており、それぞれがクラウド環境で異なる機能を担当します。

OpenStack には、コンピューティング サービス (Nova)、ストレージ サービス (Swift)、ミラー サービス (Glance) の 3 つの主要なサービス メンバーがあります。

8.1 コンピューティング サービス Nova

Nova : Nova は OpenStack の主要コンポーネントの 1 つであり、コンピューティング サービスを担当します。Nova は、仮想マシン インスタンスの作成、スケジュール、管理などの機能を提供します。KVM、Xen、VMware などのさまざまな仮想化テクノロジをサポートし、Docker などのコンテナ テクノロジもサポートします。

OpenStack の Nova コンポーネントと Swift コンポーネントの主なコンポーネントについてさらに説明します。

• Nova : Nova は OpenStack のコンピューティング コンポーネントであり、その主なタスクは仮想化サービスを提供すること、つまり仮想マシンを実行および管理することです。Nova の主なコンポーネントは次のとおりです。
  1. API サーバー (Nova-Api): API サーバーは、クラウド インフラストラクチャと対話するためのインターフェイスを提供し、インフラストラクチャを管理するために外部で使用できる唯一のコンポーネントです。仮想マシンの起動、一時停止、停止などの API リクエストの処理を担当します。
  2. メッセージ キュー (Rabbit MQ サーバー): OpenStack ノードは AMQP (Advanced Message Queue Protocol) を使用して、メッセージ キュー (RabbitMQ など) を通じて通信します。
  3. Compute Worker (Nova-Compute): Compute Worker はインスタンスのライフサイクルを管理し、Message Queue を通じてインスタンスのライフサイクル管理リクエストを受信し、運用作業を実行します。これはホスト マシン上で実行され、仮想マシン インスタンスの起動と終了に使用されるサービスです。
  4. ネットワーク コントローラー (Nova-Network): ネットワーク コントローラーは、IP アドレスの割り当て、プロジェクトの VLAN の構成、セキュリティ グループの実装、コンピューティング ノード ネットワークの構成など、ホストのネットワーク構成を処理します。
  5. ボリューム ワーカー (Nova-Volume): ボリューム ワーカーは、LVM (Logical Volume Manager) に基づいてインスタンス ボリュームを管理するために使用されます。Volume Workers には、新しいボリュームの作成、ボリュームの削除、インスタンスへのボリュームのアタッチ、インスタンスからのボリュームのデタッチなど、ボリュームに関連する機能があります。
  6. スケジューラ (Nova-Scheduler): このサービスは、仮想マシン インスタンスが実行されるホスト、つまりスケジュール ポリシーを決定する役割を果たします。

ユーザーが OpenStack API 経由で仮想マシン インスタンスを作成したいとします。

• まず、ユーザーのリクエストは OpenStack の外部インターフェイスに送信されます。このインターフェイスはユーザーのリクエストを受信して​​解析しますnova-api。nova-api
• nova-api仮想マシンを作成するリクエストを受信すると、そのリクエストはMessage Queue.html ファイルに配置されます。
• nova-schedulerリクエストはMessage Queueから、スケジューリング戦略 (ロード バランシング、リソースの最適化など) に従って新しい仮想マシン インスタンスを実行するために最適なホスト マシンが選択されます。
• ホストが選択されると、nova-schedulerリクエストと選択されたホスト情報が に返されますMessage Queue。
• nova-compute対応するホスト マシン上で実行し、ホスト マシンからMessage Queueリクエスト、ホスト マシン上で仮想マシン インスタンスを起動します。
• nova-conductor仮想マシンのステータスの更新、ログの記録など、プロセス全体を通じてデータベースに関連するすべてのリクエストの処理を担当します。

ラビットMQ

**AMQP (Advanced Message Queuing Protocol)** は、メッセージ指向ミドルウェアのオープン標準アプリケーション層プロトコルです。RabbitMQ は、AMQP プロトコルのオープンソース実装です。AMQP の主な目標は、送信者と受信者間のメッセージが送信中に失われないように、信頼性の高いメッセージ配信を提供することです。AMQP には、メッセージ、キュー、交換という 3 つの主要なコンポーネントがあります。以下に、これらのコンポーネントについて詳しく説明します。

1. メッセージ: メッセージは、送信者と受信者の間で受け渡されるデータです。すべてのメッセージにはヘッダーと本文があります。ヘッダーにはメッセージの属性とルーティング情報が含まれ、本文には送信される実際のデータが含まれます。

2. キュー: キューはメッセージを保存するためのバッファです。各キューには名前があり、コンシューマ アプリケーションはその名前を通じてキュー内のメッセージを取得できます。キューは永続的、一時的、または自動削除することができます。

   • 永続キュー: 永続キューはシステムの再起動やアプリケーションの終了によって消えません。
   • 一時キュー: 一時キューはメモリに保存され、システムがシャットダウンされると消えます。
   • 自動削除キュー: 自動削除キューは、コンシューマーが接続されていない場合に自動的に削除されます。

3. Exchange (Exchange) : Exchange は、メッセージの受信とキューへのメッセージの転送を担当します。スイッチは、メッセージのルーティング情報に従って、ルーティング テーブルを通じてメッセージを対応するキューに正確かつ安全に転送できます。各交換には一意の Exchange ID があり、交換は永続的、一時的、または自動削除されます。

   • Persistent Exchange : Persistent Exchange は、システムの再起動やアプリケーションの終了によって消えません。
   • 一時スワップ: 一時スワップはメモリに保存され、システムがシャットダウンされると消去されます。
   • 自動削除交換: 自動削除交換は、バインドされたキューがない場合に自動的に削除されます。

AMQP では、次の 3 つの異なるタイプの交換が定義されています。

• Fanout Exchange : この交換に送信されたすべてのメッセージを、この交換にバインドされているすべてのキューにルーティングします。
• 直接交換: バインディング キーがルーティング キーと正確に一致するキューにメッセージをルーティングします。
• トピック交換: バインディング キーとルーティング キーが特定のパターンに一致するキューにメッセージをルーティングします。

さらに、AMQP のもう 1 つの重要な概念はバインディング (Binding)です。バインディングは交換機とキューの関係であり、交換機はバインディング キーを通じてバインディング (Binding)メッセージをどのキューに送信するかを認識します。バインディングを作成するとき、オプションのバインディング キーを指定できます。交換局は、キーとそのタイプに基づいてメッセージをルーティングする方法を決定します。

8.2 スウィフト

Swift : Swift は、データの保存と取得を担当する OpenStack のオブジェクト ストレージ コンポーネントです。Swift は、複数のディスク、ホスト、さらにはデータセンターにわたってデータを複製できる分散アーキテクチャを使用し、高可用性と耐障害性を提供​​します。Swift は、仮想マシンのイメージ、写真、電子メールなどの大量の静的データの保存と配布に最適です

Swift は Amazon S3 と同じサービスを提供します

Swift : Swift は OpenStack のオブジェクト ストレージ コンポーネントであり、その主なタスクは大規模な分散ストレージ サービスを提供することです。Swift の主なコンポーネントには次のものがあります。

• プロキシ サーバー: ユーザーから読み取りおよび書き込みリクエストを受信し、これらのリクエストを他の Swift サービスにルーティングします。

• ストレージ サーバー: ストレージ サーバーは、ディスク デバイス上でストレージ サービスを提供します。

  • アカウントサーバー: ユーザーアカウントのデータを管理し、ユーザーが保存したコンテナ情報を記録します。
  • コンテナサーバー: コンテナを管理し、コンテナ内のオブジェクトに関する情報を記録します。
  • オブジェクトサーバー: 実際に保存されているオブジェクトデータを管理します。

• リング: Swift におけるデータの場所と分散のためのメカニズムであり、すべてのストレージ ノードのステータスを維持し、データの保存場所を決定する役割を果たします。

• 整合性サーバー: 目的は、データ破損やハードウェア障害によって引き起こされるエラーを見つけて解決することです。

ユーザーが OpenStack Swift にファイルを保存したいとします。

• まず、ユーザーのストレージ要求が に送信されますProxy Server。Proxy Serverこれはユーザーと Swift システムの間のインターフェイスであり、ユーザーのリクエストを受信する役割を果たします。
• Proxy Serverリクエストを受信すると、 が参照されて、Ringファイルをどの に保存するかが決定されますObject Server。Ringこれは Swift のデータ配置および分散メカニズムであり、すべてのストレージ ノードのステータスを維持し、データの保存場所を決定する役割を果たします。
• 保存場所を決定したら、Proxy Serverファイルは対応する場所に転送されてObject Server保存されます。
• 同時に と の情報もProxy Server更新されます。ユーザーアカウントのデータを管理し、ユーザーが保存したコンテナ情報を記録します。コンテナを管理し、コンテナ内のオブジェクトに関する情報を記録します。Account ServerContainer ServerAccount ServerContainer Server

このようにして、ユーザーが次回このファイルにアクセスしたいとき、、、 の情報をProxy Server照会することでこのファイルを見つけ、それをユーザーに送信することができます。RingAccount ServerContainer Server

• データ整合性モデル (整合性モデル)
  • このモデルでは、可用性と耐久性を高めるためにデータが複数のノードにレプリケートされます。データの読み取りおよび書き込みを行う場合、読み取り (R) と書き込み (W) のレプリカの数を調整して、さまざまなレベルのデータ一貫性を実現できます。
  • N はデータのコピーの総数です。
  • Wは書き込み操作の受け入れが確認されたレプリカの数です
  • R は読み取り操作のレプリカの数です。
• 強い一貫性
  • R+W >N。レプリカでの読み取り操作と書き込み操作で交差が確実に生成されます。少なくとも 1 つのレプリカが読み取り操作と書き込み操作の両方に参加するため、最新バージョンのデータが読み取られることが保証されます。
• 弱い一貫性
  • R+W<=N、読み取りおよび書き込み操作のコピー セットが交差を生成しない場合、ダーティ データが読み取られる可能性があります。

つまり、場合によっては、短期間、古いデータや期限切れのデータを読み取る可能性があります。ただし、時間の経過とともに、最終的にはすべてのレプリカが一貫した状態に達します。この整合性モデルは、Swift に高可用性とフォールト トレランスを提供します。これは、障害やネットワークの分断が発生した場合でも、Swift は引き続き読み取りおよび書き込みサービスを提供できるためです。ただし、この整合性モデルは、強い整合性を必要とするアプリケーションには適していない可能性があります。

第9章 クラウドコンピューティングデータセンター

9.1 クラウドデータセンターの特徴

• 設備の高い稼働率
  • 仮想化テクノロジーを使用してシステムとデータセンターを統合し、リソース使用率を最適化し、管理を簡素化します。
• グリーンテクノロジー
  • 高度な電源および冷却テクノロジーによりデータセンターのエネルギー消費を削減
• 自動管理
  • クラウド データ センターは 24 時間 365 日無人で、リモートから管理できる必要があります。
• 高可用性
  • ネットワークが拡張またはアップグレードされても、ネットワークは正常に動作し、ネットワークのパフォーマンスにほとんど影響を与えません。

9.2 ネットワーク展開 (FaTree フォーカス)

クラウド ストレージ アーキテクチャの研究がクラウド ストレージ システムの内部である場合、クラウド ストレージのネットワーク展開ではシステムの外部、つまりネットワーク アーキテクチャの研究が行われます。最も重要な研究は、スイッチとスイッチ/サーバー間の回線の問題です。

ツリー構造の改善: この記事にはファット ツリーの説明があります:クラウド ストレージのクイックラーニング。これら 2 つの記事 (パート 1) を読むだけで十分です。

• VL2 アーキテクチャもあります。メッシュ構造に似ています。

• 再帰的な階層

  • スイッチとサーバーの両方にデータ転送機能があります
  • Dcell、FiConn、BCube

• 光スイッチングネットワーク

• ワイヤレスデータセンターネットワーク

• ソフトウェア デファインド ネットワーク

9.3 グリーン省エネ技術

• 流通システム

  • a) 高圧直流配電技術（変換段数が従来より1段少ない）
  • b) 主電源直接供給および配電技術 (2 段階の回路変換後のみ)

• エアコン設備

  • 高温還気空調システム
  • 低エネルギー加湿システム
  • 自然冷却空調システム

• コンテナ省エネ技術の主な特長と設計（強調）

  • コンテナ データ センター: サーバー、ネットワーク、エアコン、電源、その他の機器を高密度でコンテナに「押し込み」、コンテナ (モジュールとして) がデータ センターを形成します。
  • テクノロジー
    • a) 給気距離を短くする：「混雑」により給気距離が短くなる
    • b) コールドアイルの温度を上げる: チラー (冷凍装置の一種) は温度をそれほど低く下げる必要がないため、消費電力が少なくなります。
    • c) コールドアイル/ホットアイルは完全に隔離されています: 前のポイントの原則と同様
    • d) 断熱材: 容器にコーティングされており、冬には内部に結露がなく、夏には外部の熱が入りません。
    • e) フリークーリング機能: 冷却システムの代わりに自然冷却
  • 特徴
    • 非エネルギー効率の悪い技術の特徴）
    • a) 高密度（コンテナ内の機器を指します）
    • b) モジュール性 (コンテナを参照)
    • c) オンデマンドでの迅速な展開 (コンテナを参照)
    • d) 移動が容易（容器を指す）

• データセンターの省エネ

  • DVFS省エネ技術
  • 仮想化による省エネ技術
  • ホストのオフ/オンに基づく省エネ技術

• 名詞 説明 PUE

  • データセンターのエネルギー利用
  • PUE = データセンターの総エネルギー消費量 / IT 機器のエネルギー消費量
  • データセンター内のエネルギーはすべて IT 機器に使用されるため、PUE 値は 1 に近くなります。しかし実際には、データセンターは冷却、照明、その他の運用にもエネルギーを使用する必要があるため、PUE の値は通常 1 より大きくなります。
  • 低いほど良い

9.4 自動管理

• 自動管理機能
  • クラウド自動化: サーバー、ストレージ、ネットワーク、アプリケーションをオンデマンドで割り当て、再利用します。
  • 完全な可視性
  • 自動制御実行
  • 複数のレベルでのシームレスな統合
  • 包括的なリアルタイムレポート
  • フルライフサイクルサポート

9.5 災害復旧バックアップ

• 比較した

災害復旧機能	練習の違い	サービスの特徴
データレベルの災害復旧	リモート データ システムを確立し、アプリケーション データをリアルタイムで複製し、災害発生時に迅速にビジネスを引き継ぎます。	災害によるサービスの中断
アプリケーションレベルの災害復旧	ローカル アプリケーション システムと相互にバックアップし、連携できるリモート データ システムを確立します。	災害時でもサービスを継続できる

• テクニカル指標

索引	説明する
データ復旧ポイントの目標 RPO	ビジネス システムが許容できるデータ損失の量
目標復旧時間 RTO	ビジネスが停止することが許容される最大時間

• キーテクノロジー
  • リモートミラーリングテクノロジー
  • スナップショット技術
  • IP ベースの SAN に基づくリモート データ ディザスタ リカバリおよびバックアップ テクノロジ
  • データベース複製技術

第 10 章 クラウド コンピューティングのコア アルゴリズム

1. Paxos : Paxos は、分散システムにおけるコンセンサス問題を解決するためのプロトコルです。コンセンサスは分散システムにおける重要な問題の 1 つであり、中央のコーディネーターなしでシステム内のすべてのノードが特定の値に同意する方法が含まれます。Paxos プロトコルは、システム内の一部のノードに障害が発生した場合でも、システム内のノードがコンセンサスに達できることを保証します。

2. DHT (分散ハッシュ テーブル) : DHT は、中央コーディネーターなしで効率的なデータ検索と保存を実現できるデータ構造です。DHT では、データ項目がシステム内のさまざまなノードに分散され、各ノードがデータ項目の一部を担当します。データ項目を検索する必要がある場合、ハッシュ関数を使用してデータ項目を担当するノードを直接見つけることができます。DHT の主な利点は、検索効率が高いことと、ノードの参加と離脱に適応できることです。

   1. https://zhuanlan.zhihu.com/p/166126098

3. ゴシップ: ゴシップ (ゴシップ プロトコルまたは配布プロトコルとも呼ばれる) は情報配布プロトコルであり、大規模な分散システムにおけるノード間の情報配布と一貫性を達成するためによく使用されます。ゴシップ プロトコルの動作方法は人間社会における噂の拡散に似ています。各ノードは他のノードと定期的に情報を交換し、複数の交換を通じて情報はすべてのノードに急速に広がります。Gossip プロトコルの主な利点は、ノード障害に耐えることができ、システム規模が増加しても通信オーバーヘッドが大幅に増加しないことです。

第11章 中国におけるクラウドコンピューティング開発の概要

11.1 国内展開の概要

4つのトレンド

• まず、クラウド コンピューティングの革新レベルが継続的に向上するにつれて、産業チェーンの上流、中流、下流の統合傾向がより明確になっています。
• 第二に、国内のクラウドコンピューティングアプリケーション市場はさらに発展・成熟し、市場空間が大幅に拡大しました。
• 第三に、クラウドコンピューティングサービスの急速な発展に伴い、大企業や機関内でのパブリッククラウドサービスやプライベートクラウドの構築と運用・保守が中心となる。
• 第四に、クラウドコンピューティングの公共性がさらに高まる。国内のクラウドコンピューティングアプリケーション市場はさらに発展・成熟し、市場空間は大幅に拡大しています。

11.2 国内クラウドストレージ技術

• 淘宝分散ファイル システム TFS

  • タオバオ ファイル システム (TFS) は、スケーラビリティが高く、可用性が高く、パフォーマンスの高いインターネット サービス指向の分散ファイル システムであり、主に大規模な非構造化データを対象とし、一般的な Linux マシン クラスタ上に構築されており、高い信頼性と高度な同時実行性を提供します。ストレージへのアクセス。

  • タオバオは大規模な小さなファイルストレージを提供します

  • 高いフォールトトレラントアーキテクチャとスムーズな拡張性

    • 1) クラスターの耐障害性
      • TFS はプライマリ クラスタとセカンダリ クラスタで構成でき、通常、プライマリ クラスタとセカンダリ クラスタは 2 つの異なるコンピュータ ルームに保管されます。
      • プライマリ クラスタはすべての機能を提供し、セカンダリ クラスタは読み取り専用を提供します。
    • 2) ネームサーバーのフォールトトレランス
      • Namserve は、ブロック リストと、DataServer とブロックの間の関係を維持する責任を負います。
      • また、NameServer と DataServer の間で定期的なハートビートも発生します。
    • 3) データサーバーの耐障害性
      • TFS は、ブロックを使用して複数のコピーを保存し、DataServer フォールト トレランスを実現します。
      • 各書き込みリクエストでは、すべてのブロックが正常に書き込まれたときに成功とみなされなければなりません。
      • TFS は各ファイルのチェックサム CRC を記録します

  • フラットなデータ組織構造

• A8000の特長

  • A8000 超低消費電力クラウドストレージマシン

  • 優れたパフォーマンス、超低消費電力、便利な管理、シンプルかつユニバーサル、超高密度、包括的な監視、および高い信頼性

  • キーテクノロジー

    • A8000 低電力マザーボード
    • 集中DC電源
    • 集中冷却システム

11.3 国内大規模データベース

アリババ オーシャンベース ( 有待补充)

OceanBase は主に淘宝網の大規模データを解決するために作成されました。大規模なデータをサポートする高性能分散データベース システムです。数千億のレコードを管理できます。SQL 操作をサポートします。

• システムの特徴と利点
  • メインデータは時間が経っても比較的安定しています
  • 追加、削除、変更の記録をメモリに保存することで、システム書き込みトランザクションのパフォーマンスが大幅に向上します。
  • UpdateServer のメモリを拡張すると、メモリに含まれる変更量が増加します
  • 動的データ サーバー UpdateServer はコミット ログを書き込み、デュアル マシン (またはマルチ マシン) ホット バックアップを採用します。
  • 主キーの範囲による OceanBase クエリは連続ディスク読み取りに対応します

11.4 クラウド監視テクノロジー

cVideo Cloud ビデオ監視システム

• クラウド監視技術のシステム構成と主要技術

  • 建築
    • フロントエンド機器
    • サーバークラスターの処理
    • アクセスサーバー
    • ストレージサーバークラスタ
    • フローメディアサービス
    • 中央サーバー
    • クライアント
  • キーテクノロジー
    • 分散ネットワーク設計に基づいて、多地点超長距離リアルタイム高精細ビデオ監視をサポートします。
    • 大規模な多層監視システムをサポート
    • 大量のビデオデータのバックアップをサポート
    • 高度なビデオコンテンツインテリジェント分析テクノロジーを採用

• 云监控技术应用（？）

  • 1. 特定人物動画検索

  • 

  • 2. ゾーン侵入検知

    • 移動目標検出に基づいて拡張された検出および警報アプリケーション機能。監視ビデオ内の事前に設定された防御ゾーンに出現する移動目標を自動的に検出できます。検出された移動目標とその動作が事前に設定された警告条件を満たしている場合、自動的に実行されます。スナップショット、ビデオ録画、アラームなどの関連アクション。

  • 3. トラフィック統計

    • 交通流統計は、ビデオインテリジェント分析技術 - 移動目標検出に基づいて拡張され、「仮想コイル」方式を採用し、監視ビデオに映る車両を自動的に検出し、対応する車線に出入りする車両の数をカウントします。
  • 4. 火炎検知
    • 炎検知機能は、ビデオ画像情報を自動的に分析および判断し、監視エリア内の火災の兆候を適時に発見し、警報を発して有益な情報を最速かつ最良の方法で提供することができ、消防士が火災の危機に対処するのを効果的に支援できます。 。

11.5 アリババクラウドサービス

• エラスティック コンピューティング サービス (ECS)

  • 完全な管理権限
  • APIインターフェース
  • 弾性記憶
  • スナップショットのバックアップと復元
  • カスタムミラー
  • オンライン移行

• オープンストレージサービスOSS

  • 弾性膨張
  • 大規模な同時読み取りおよび書き込み
  • 画像処理の最適化

• オープン構造化データ サービス (OTS)

  • データの大容量ストレージ
  • シンプルで簡単なテーブル管理
  • データ管理

• オープンデータ処理サービスODPS

  • マスコンピューティング
  • データセキュリティ
  • 箱から出して

• RDS

  • 安全で安定したデータの信頼性
  • 自動バックアップ、透過的な管理
  • 優れたパフォーマンス、柔軟な拡張性