環境の説明:
マシン役割のマシン名のユーザー名のIPアドレス
192.168.3.150のドニーのドニー・レノボ-B40-80マスター+サルヴェ
192.168.3.167 CQB CQB-レノボのHi-B40-80
マスター機のメインコンフィギュレーション・名前ノードとJobTrackerの役割は、分散データと電源の実装を担当するタスクを打破する、分散ファイルシステム、およびタスクを実行する責任Salveのマシン構成データノードとTaskTrackerの役割は、;ここでマスターマシンがなければなりません(スタンバイ)は、マスターサーバーのダウンタイムを防止します。
注意:原因のHadoop Hadoopのには、同じ展開ディレクトリ構造の要件上のすべてのマシンは(起動時に同じディレクトリに、マスターノードによって他のタスクノードを開始するので)ことを必要とし、同じユーザーアカウント名を持っています。様々な参考文書パスワード認証なしで達成するために、このアカウントを使用して、すべてのマシン上でのHadoopユーザーを確立していると言うことです。便宜上、3台のすべてのマシンは、Hadoopの利用者を再確立することにあります。(強く、この実践を推奨、貧しいブロガーは学びません)
環境設定:
ホスト名変更修正に成功テストでホスト名のvimの/ etc /ホスト名を変更します。
添加ホストVIMの/ etc / 192.168.3.150ホストドニー-Lenovoは-B40-80 192.168.3.167 CQB-レノボ-B40-80
SSHの設定:
SSH-keygenは-t rsaの
SSH-コピー-ID -iの〜/ .ssh / id_rsa.pub CQB @ CQB-レノボ-B40-80
Hadoopの構成:
vimの/etc/hadoop/core-site.xml
<設定>
<プロパティ>
<名前> hadoop.tmp.dir </名前>
<値>のファイル:/データ/ Hadoopのを/ tmp </ value>は
、他のための<説明> ABASE一時ディレクトリ</説明>。
</ property>の
<プロパティ>
<名前> fs.default.name </名前>
<値> HDFS://ドニー・レノボ-B40-80:9000 </ value>の
</ property>の
<プロパティ>
<名前> io.file.buffer.size </名前>
<値> 131072 </ value>の
</ property>の
</ configuration>の
vimの/etc/hadoop/hdfs-site.xml
<設定>
<プロパティ>
<名前> dfs.replication </名前>
<値> 1 </値>
</ property>の
<プロパティ>
<名前> dfs.namenode.name.dir </名前>
<値>のファイル:/データ/ Hadoopの/ DFS /名前</ value>の
</ property>の
<プロパティ>
<名前> DFS。 datanode.data.dir </名前>
<値>のファイル:/データ/ Hadoopの/ DFS /データ</ value>の
</ property>の
<プロパティ>
<名前> dfs.webhdfs.enabled </名前>
<値>真< /値>
</ property>の
</構成>
VIM /etc/hadoop/mapred-site.xml
<構成>
<プロパティ>
<名前> mapreduce.framework.name </名前>
<値>糸</値>
</ property>の
<プロパティ>
<名前> mapreduce.jobhistory .address </名前>
<値>ドニー-レノボ-B40-80:10020 </値>
</ property>の
<プロパティ>
<名前> mapreduce.jobhistory.webapp.address </名前>
<値>ドニー-Lenovo- B40-80:19888 </ value>の
</ property>の
</設定>
VIM /etc/hadoop/yarn-site.xml
<構成>
<プロパティ>
<名前> yarn.resourcemanager.hostname </名前>
<値>ドニー-レノボ-B40-80 </値>
</ property>の
<プロパティ>
<名前> yarn.nodemanager.aux-サービス</名前>
<値> mapreduce_shuffle </ value>の
</ property>の
</設定>
vimのは/ etc / Hadoopの/スレーブ
ドニー・レノボ-B40-80
CQB-レノボ-B40-80
名前ノードはデータノードを送りました
SCP -rの/ etc / Hadoopの/ CQBする@ CQB-レノボ-B40-80:を/ tmp /
Hadoopのを起動します。
行っnomenode
最初のフォーマット hdfs namenode -format
hadoop-daemon.sh開始名前ノード
hadoop-daemon.shスタートデータノード(オプション)
ノードマネージャを起動しyarn-daemon.sh
このResourceManagerを開始yarn-daemon.sh
historyserver開始mr-jobhistory-daemon.sh
行ってデータノード
hadoop-daemon.shスタートデータノード
ノードマネージャを起動しyarn-daemon.sh
hadoop-daemon.shスタートsecondarynamenode(オプション)
Hadoopのを確認します。
クラスタHDFS DFS -ls確認/いずれかのマシンを実行することができます
データノード堅牢なアクセスかどうかをチェックします192.168.3.150:50070
公開タスクのHadoopジャー/opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar語数の/tmp/order.data /出力
アクセス192.168.3.150:8088が解除されたタスクの結果を表示します