CentOS7 Hadoopのインストール(完全分散型)

Hadoopクラスタのインストールモード
 
1)スタンドアローンモード
任意のコンフィギュレーションなしの直接アンパック、。主にテストコードを使用。いいえ分散ファイルシステムはありません。
 
2)擬似分散
完全にフォームを配布したが、すべてのプロセスは、ノード上に構成されなければなりません。分散ファイルシステムは、ファイルシステムがただ一つのノードのみで、あります。
 
3)完全に分散
マスターノードとスレーブノードは、マスターノードの名前ノードのみを含む(一般的には、単一のノードとしての実運用環境の名前ノード)データノードに格納されたデータをどのようにデータノードに格納されたデータを記述するメタデータを格納する責任名前ノードそのデータはアップロードされた1つのノードに。実際の作業を担当するデータノードは、データストレージを担当しています。名前ノードがダウンしている場合、完全に分散し、クラスタ全体が使用できない原因となり、これが障害問題の完全分散型、シングルポイントの主な欠点であるだろう。したがって、このモードでは、一般的に、本番環境では使用されません。
 
4)ハイアベイラビリティ
クラスタは、飼育係に応じて、7 * 1日24時間を達成するためのサービスを提供し続けることができます。完全分散型アーキテクチャは、マスターマルチスレーブモードであり、高可用性クラスタアーキテクチャは、マルチマスターマルチスレーブであり、それは、少なくとも二つの名前ノード高可用性クラスタがあると言うことであるが、それらの一方のみがアクティブです。私たちは、他のはまさにホットバックアップ彼らはスタンバイと呼ばれるこの名前ノードを置く状態、およびメタデータの保存とアクティブされているのと同じ、ダウンタイムアクティブで、アクティブと呼ばれるこのアクティブな名前ノードを呼び出して、スタンバイはすぐに切り替わりますアクティブ。ちょうどダウン名前ノードは正常に戻りますが、これは唯一の名前ノードのスタンバイでいる場合。しかし、このクラスタ内の欠陥があり、唯一のアクティブな名前ノードが同時にあります。ノード(すなわち、過度のメタデータ)が非常に大きい場合、このアクティブな名前ノードは簡単に崩壊します。
 
5)連邦政府のメカニズム
同じクラスタには、複数の名前ノードを持つことができ、同時に複数のアクティブな名前ノード、すべてのクラスタデータノードのこれらの名前ノード一般的な使用、クラスタ名前ノードデータノード上のデータの一部のみを管理するための各責任を持つことができます。しかし、連邦政府のメカニズムも、このような一つの活性名前ノードとして、単一障害点を存在下で、これはアクセスできなく名前ノードデータの存在になり、そのため、一般的には、クラスタを構築するために、「連邦高可用性+」モードを使用することです。

 

完全分散インストール

 

1.クラスター計画

ホスト名 IP HDFS
hadoop01  192.168.220.141 名前ノードの
データノード
ノードマネージャ
hadoop02 192.168.220.142 secondarynamenode
データノード
ノードマネージャ
hadoop03 192.168.220.143 データノード するresourceManager
ノードマネージャ


  

2.ホスト名とホストを変更します

 

3. SSHキーを設定します

 

4.権限の認証に公開鍵の情報を保存します

 

5.ログテスト

 

6.設定ファイル

 

 

7.クラスタ構成

 

 

8.フォーマットのファイルシステム

 

 

9. [スタート] Hadoopの

 

10.レビュープロセス

 

11.テストが正常に使用することができますですHDSF

 

おすすめ

転載: www.cnblogs.com/caoxb/p/11280425.html