前提:3つの構成されたJDKとHadoopの仮想マシン環境変数の必要性
あなたは、サーバーを設定し、XSYNCスクリプトと同期、別の記事の特定のブログを見ることができますhttps://blog.csdn.net/qq_41813208/article/details/102575933
3台のサーバの名前があります
hadoop112、hadoop113、hadoop114
3台のネームサーバをバインドするためにhostsファイルを変更します。
例えば
hadoop112 192.168.1.112
hadoop113 192.168.1.113
hadoop114 192.168.1.114
ご注意ください
下は/ optフォルダのHadoopおよびJDKのディレクトリ、
環境変数は次のようにどこに
設定ファイルは、後に経路問題のHadoop現れた場合は、その実際の環境に応じてビットを変更
設定マップ:
hadoop112 | hadoop113 | hadoop114 | |
HDFS | 名前ノード データノード |
データノード |
SecondaryNameNode データノード |
糸 | ノードマネージャ |
このResourceManager ノードマネージャ |
ノードマネージャ |
configure hadoop112にログオン:設定を開始
1)コアプロファイル
コア-site.xmlのノート経路問題を設定!
sudoは/opt/module/hadoop-2.7.7/etc/hadoop/来たコア-site.xmlのを
コンフィギュレーション・ファイルに次のように書きます
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop112:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.7/data/tmp</value> </property>
(2)HDFSプロファイル
2.1、コンフィギュレーションhadoop-env.sh
sudoは/opt/module/hadoop-2.7.7/etc/hadoop/hadoop-env.sh来ました
ファイルに次のコードを配置
輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_211 /
図:
2.2構成HDFS-site.xmlの
sudoは/opt/module/hadoop-2.7.7/etc/hadoop/hdfs-site.xml来ました
ファイルがコピーの<configuration>タグ内に書かれていることに注意してください
<property> <name>dfs.replication</name> <value>3</value> </property> <!-- 指定Hadoop辅助名称节点主机配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop114:50090</value> </property>
(3)糸プロファイル
3.1、コンフィギュレーションyarn-env.sh
sudoは/opt/module/hadoop-2.7.7/etc/hadoop/yarn-env.sh来ました
書き込み
輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_211 /
フィギュア
3.2、配置yarn-site.xml
sudoは/opt/module/hadoop-2.7.7/etc/hadoop/yarn-site.xml来ました
コピーは、<設定>タグに書き込まれていることに注意してください
<!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop113</value> </property>
(4)MapReduceのプロファイル
4.1、設定mapred-env.sh
sudoは/opt/module/hadoop-2.7.7/etc/hadoop/mapred-env.sh来ました
書き込み
輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_211 /
4.2、配置mapred-site.xml
mepred-site.xmlファイルには、テンプレートを使用して考える必要性が存在しません。
mapred-site.xmlの名前のcpコマンドコピーmapred-site.xml.template
sudoのcpは/opt/module/hadoop-2.7.7/etc/hadoop/mapred-site.xml.template /opt/module/hadoop-2.7.7/etc/hadoop/mapred-site.xml
それから
sudoは/opt/module/hadoop-2.7.7/etc/hadoop/mapred-site.xml来ました
書き込み
<!-- 指定MR运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
(5)スレーブのファイルを変更し、Hadoopの-3.2.1バージョンは、Hadoopのファイルの労働者であります
いいえスペースず、空白行
vimの/opt/module/hadoop-2.7.7/etc/hadoop/slaves
ディストリビューションのプロフィール
XSYNCスクリプトによって分散
XSYNCは別のブログを参照してくださいについて:https://blog.csdn.net/qq_41813208/article/details/102575933
次のコマンド、hadoop113に変更されたHadoopプロファイル同期、hadoop114サーバーを実行します
XSYNC /opt/moudel/hadoop-2.7.7
同期最後に、あなたはそれが、hadoop114サーバの設定がファイルとhadoop112をhadoop113テストすることができます
例えば、コア-site.xmlファイルを見て
猫/opt/module/hadoop-2.7.7/etc/hadoop/core-site.xml
そして、同じhadoop112か
最後に集まったクラスター
まず、すべてのサーバーのデータノードは、名前ノード、SecondaryNameNodeプロセスを終了する必要があります
閉じるJPSのJPSを入力するには、以外のすべてのプロセスを表示します
注意!!!
名前ノードは、HDFSを開始する前にフォーマットする必要があります
これは次の理由によりリンクのため、このコマンドを使用しない-format後ろHDFS名前ノードを実行する必要が初めての場合
(*注フロントと書式設定は、その理由をフォーマットする必要はありません場合は、ブログ見ている理由の名前ノードをフォーマットされていません)
まず、HDFSを開始
Closeメソッド
入力:stop-dfs.sh
Startメソッド
start-dfs.shを入力します。
ルートディレクトリのHadoop sbinに/の下にこのスクリプトファイル
第二に、スタートYARN
ノートを取るために巨大なピット必要!
でなければなりませんhadoop113 hadoop113上の理由ResourceManegerにスタート!
実行start-yarn.sh
得到启动结果,如果中途遇到输入密码,则配置一下无密登录
关于无密登录参考这两篇博客:
https://blog.csdn.net/qq_41813208/article/details/102597273
https://blog.csdn.net/qq_41813208/article/details/102575933
最后验证一下
如果访问不到页面,则关闭服务器的防火墙
在hadoop112上关闭,输入sudo systemctl stop firewalld.service 即可关闭防火墙,就可以访问到下面的页面
永久关闭sudo systemctl disable firewalld.service
浏览器输入hadoop112的ip+50070端口访问页面表示成功!
http://hadoop112:50070