hadoop 2.9.2完全分散インストール

完全分散インストール
完全分散環境のデプロイメントHadoop
完全分散は、複数のLinuxホストを実際に使用してHadoopをデプロイし、Linuxマシンのクラスターを計画して、Hadoopの各モジュールが異なる複数のマシンにデプロイされるようにします。

1.環境で
仮想マシンをインストールする準備ができました。ここでKVM仮想マシンを使用してください。

2.ネットワーク構成
が完了したら、外部ネットワークにアクセスできます。

3.ホスト名構成
は、3つのホストを個別に区別します。

4.hosts構成
でホスト名を変更するホスト名
hadoop-node1
ホスト名hadoop-node2
ホスト名hadoop-node3

3つのホスト名とIPアドレスの対応をhostsファイルに書き込みます;
vim / etc / hosts
10.10.2.177 hadoop-node1
10.10.2.178 hadoop-node2
10.10.2.179 hadoop-node3

5.サーバー機能の役割の計画
hadoop-node1 hadoop-node2 hadoop-node3
NameNode ResourceManage
DataNode DataNode DataNode
NodeManager NodeManager NodeManager
HistoryServer SecondaryNameNode

6. 1台のマシンにHadoopをインストールします
＃ここで、最初のマシンでhadoopを抽出して構成し、次に他の2台のマシンに構成ファイルを配布してクラスターをインストールします;
1）hadoopディレクトリ
tar -zxvfを解凍します/opt/hadoop-2.9.2.tar.gz -C / opt / modules / app /
2）Hadoop JDKパスを構成し、hadoop-env.sh、mapred-env.sh、yarn-env.shファイルでJDKを変更しますパス;
エクスポートJAVA_HOME = "/ opt / modules / jdk1.7.0_80"
3）core-site.xmlを構成します
cd /opt/modules/app/hadoop-2.9.2/etc/hadoop
vim core-site.xml
<設定>
<property>
<name> fs.defaultFS </ name>
<value> hdfs：//マスター：9000 </ value>
</ property>
<property>
　 <name> io.file.buffer.size </ name>
　 <value > 131072 </ value>
</ property>
<property>
　 <name> hadoop.tmp.dir </ name>
　 <value> / data / tmp </ value>
</ property>
<property>
　　 <name> hadoop.proxyuser.hadoop.hosts </ name>
<value> </ value>
</ property>
<property>
　　 <name> hadoop.proxyuser.hadoop.groups </ name>
　 <value> </ value>
</ property>
</ configuration>
＃fs.defaultFSはNameNodeのアドレスです。＃hadoop.tmp.dirはhadoop
の一時ディレクトリのアドレスです。デフォルトでは、NameNodeおよびDataNodeのデータファイルはこのディレクトリの下の対応するサブディレクトリに存在します。で。このディレクトリが存在しない場合は、手動で作成する必要があります
。4）スレーブを構成します＃
どのデータノードノードを指定する
cd /opt/modules/hadoopstandalone/hadoop-2.9.2/etc/hadoop
vimスレーブ
hadoop-node1
hadoop-node2
hadoop- node3
5）hdfs-site.xml
cd /opt/modules/app/hadoop-2.9.2/etc/hadoop
vim hdfs-siteを構成します。

<name> dfs.namenode.secondary.http-address </ name>
<value> hadoop-node3：50090 </ value>
</ property>
</ configuration>
＃dfs.namenode.secondary.http-address是指定secondaryNameNode的http访问地住所とポート番号、ここではhadoop-node3をSecondaryNameNodeサーバーに変更
6）配置yarn-site.xml
cd /opt/modules/app/hadoop-2.9.2/etc/hadoop
vim yarn-site.xml
<プロパティ>
<name> yarn.nodemanager.aux-services </ name>
<value> mapreduce_shuffle </ value>
</ property>
<property>
<name> yarn.resourcemanager.hostname </ name>
<value> hadoop-node2 < / value>
</ property>
<property>
<name> yarn.log-aggregation-enable </ name>
<value> true </ value>
</ property>
<property>
<name> yarn.log-aggregation.retain-seconds </ name>
<value> 106800 </ value>
</ property>
＃計画に従って、yarn.resourcemanager.hostnameに指定されたこのリソースマネージャーサーバーがhadoop-node2をポイントします
＃yarn.log-aggregation -enableは、ログ集約機能を有効にするかどうかを構成することです。
＃yarn.log-aggregation-retain-secondsは、集約されたログを最大でHDFSに保存できる期間を構成します
7）mapred-site.xmlを構成し
ますmapred-site.xmlファイル、
cd /opt/modules/app/hadoop-2.9.2/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<設定>
<プロパティ>
<名前> mapreduce.framework.name </名前>
<値>糸</値>
</プロパティ>
<プロパティ>
<名前> mapreduce.jobhistory.address </名前>
<値> hadoop- node1：10020 </ value>
</ property>
<property>
<name> mapreduce.jobhistory.webapp.address </ name>
<value> hadoop-node1：19888 </ value>
</ property>
</ configuration>
#mapreduce .framework.name糸で実行するようにmapreduceタスクを設定します
＃mapreduce.jobhistory.addressは、hadoop-node1マシンにインストールされるmapreduce
履歴サーバーを設定します＃mapreduce.jobhistory.webapp.address は、履歴サーバーのWebページアドレスとポート番号を設定します

7.
Hadoopクラスタ内の各マシンにSSHパスワードなしログインを設定します。各マシンはSSHを介して相互にアクセスします。毎回パスワードを入力することは現実的ではないため、各マシン間でSSHパスワードなしログインを構成する必要があります
。1）hadoop-node1で公開鍵
ssh を生成します-keygen -t rsa＃
すべて入力してください。すべてデフォルト値です。完了すると、公開鍵ファイルid_rsa.pubおよび秘密鍵ファイルid_rsaが現在のユーザーのホームディレクトリの.sshに生成されます
2）公開鍵を配布します
ssh-copy-id hadoop-node1
ssh-copy-id hadoop-node2
ssh-copy-id hadoop-node3
3）パスワードを設定する-hadoop-node2 / hadoop-node3の他のマシンへの無料ログイン
hadoop-node1と同じ操作で公開鍵と秘密鍵を生成し、他の3台のマシンに配布します。

8. hadoopファイルを配布する
1）3台のマシンがHadoopディレクトリを作成する
mkdir -p / opt / modules / app
2）scpを介してhadoopファイルを配布する＃Hadoop
ルートディレクトリの下のshare / docディレクトリは、Hadoop ドキュメントを保存するために使用されます。直接削除して配布速度を向上させることができます;
scp -r /opt/modules/app/hadoop-2.9.2/ hadoop-node2：/ opt / modules / app /
scp -r /opt/modules/app/hadoop-2.9。 2 / hadoop-node3：/ opt / modules / app /

9. NameNodeを
フォーマットする＃NameNodeマシンでフォーマットを実行する-マスターノード/
opt /モジュール/ app / hadoop-2.9.2 / bin / hdfs namenode -format＃注
：NameNodeを再フォーマットする必要がある場合は、元のNameNodeを変更して、 DataNodeの下のすべてのファイルが削除されます。削除されない場合、エラーが報告されます。NameNodeおよびDataNodeが配置されているディレクトリは、core-site.xmlのhadoop.tmp.dir、dfs.namenode.dir、dfs.datanode.data.dirプロパティで構成されています。
<property>
<name> hadoop.tmp.dir </ name>
<値> / opt / data / tmp </ value>
</ property>
<property>
<name> dfs.namenode.name.dir </ name>
<value>ファイル：// $ {hadoop.tmp.dir} / dfs / name </ value>
</ property>
<property>
<name> dfs.datanode.data.dir </ name>
<value> file：// $ {hadoop.tmp.dir} / dfs / data </ value >
</プロパティ>
＃各フォーマットのため、デフォルトではクラスターIDを作成し、それをNameNodeおよびDataNodeのVERSIONファイルに書き込みます（VERSIONファイルが配置されているディレクトリはdfs / name / currentおよびdfs / data / currentです）。 ;あなたは、元のディレクトリには、一貫性のないエラーが発生し、古いクラスタのIDで新しいクラスタIDに名前ノードのバージョンファイルの結果、およびデータノードます削除しない場合は、新しいクラスターIDを生成する
別の方法は、＃をフォーマットされ古いクラスターID値として指定されたクラスターIDパラメーターを指定します。

10.クラスターを起動します
1）HDFSを起動します
＃hadoop-node1 node start HDFS
/opt/modules/app/hadoop-2.9.2/sbin/start-dfs.sh
2）YARNを起動します
＃hadoop-node2 node start yarn
/ opt / modules /app/hadoop-2.9.2/sbin/start-yarn.sh #Start
ResourceManager
cd /opt/modules/app/hadoop-2.9.2
sbin / yarn-daemon.sh hadoop-node2でresourcemanager を開始
3）起動ログサーバー
＃計画に従って、hadoop-node3でMapReduceログサービスを開始します
cd /opt/modules/app/hadoop-2.9.2/sbin/mr-jobhistory-daemon.sh start historyserver＃
起動ステータスを表示します
jps
4）HDFS Webを表示しますページ
http://10.10.2.177:50070
5）YARNのWebページを表示
http://10.10.2.178:8088

11.テストジョブ
ここでは、hadoopに付属のwordcountサンプルを使用して、ローカルモードでmapreduceテストをテストおよび実行し
ます。hdfsストレージディレクトリの作成、wc.inputテストファイルのアップロードを含む、yarn実行ノード（hadoop-node2）でテストプロセスを実行する必要があります。出力計算テスト結果;

1）mapreduce入力ファイルを準備しますwc.input
cd / opt / data /
touch wc.input
vim wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
2）HDFSに入力ディレクトリ入力
cd / opt / modules / app を作成します/hadoop-2.9.2/
bin / hdfs dfs -mkdir / input
3）wc.inputをHDFSにアップロード
cd /opt/modules/app/hadoop-2.9.2/
bin / hdfs dfs -put / opt / data / wc .input /input/wc.input
4）mapreduce デモを実行します
cd /opt/modules/app/hadoop-2.9.2/
bin / yarn jar share / hadoop / mapreduce / hadoop-mapreduce-examples-2.9.2（hadoopに付属） .jar wordcount /input/wc.input / output
5）出力ファイルを表示します
cd /opt/modules/app/hadoop-2.9.2/
bin / hdfs dfs -ls / output