完全分散クラスタ構成のバージョン2.7のHadoopと一緒に反発

前提:3つの構成されたJDKとHadoopの仮想マシン環境変数の必要性

あなたは、サーバーを設定し、XSYNCスクリプトと同期、別の記事の特定のブログを見ることができますhttps://blog.csdn.net/qq_41813208/article/details/102575933

3台のサーバの名前があります

hadoop112、hadoop113、hadoop114

3台のネームサーバをバインドするためにhostsファイルを変更します。

例えば
hadoop112 192.168.1.112
hadoop113 192.168.1.113
hadoop114 192.168.1.114

ご注意ください

下は/ optフォルダのHadoopおよびJDKのディレクトリ、

環境変数は次のようにどこに

設定ファイルは、後に経路問題のHadoop現れた場合は、その実際の環境に応じてビットを変更

設定マップ:

完全分散構成テーブルをHadoopの
  hadoop112 hadoop113 hadoop114
HDFS

名前ノード

データノード

データノード

SecondaryNameNode

データノード

ノードマネージャ

このResourceManager

ノードマネージャ

ノードマネージャ

configure hadoop112にログオン:設定を開始

1)コアプロファイル

コア-site.xmlのノート経路問題を設定!

sudoは/opt/module/hadoop-2.7.7/etc/hadoop/来たコア-site.xmlのを

コンフィギュレーション・ファイルに次のように書きます

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop112:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.7/data/tmp</value>
</property>

(2)HDFSプロファイル

2.1、コンフィギュレーションhadoop-env.sh

       sudoは/opt/module/hadoop-2.7.7/etc/hadoop/hadoop-env.sh来ました

ファイルに次のコードを配置

        輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_211 /

図:

2.2構成HDFS-site.xmlの

      sudoは/opt/module/hadoop-2.7.7/etc/hadoop/hdfs-site.xml来ました

ファイルがコピーの<configuration>タグ内に書かれていることに注意してください

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>


<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop114:50090</value>
</property>

(3)糸プロファイル

3.1、コンフィギュレーションyarn-env.sh

     sudoは/opt/module/hadoop-2.7.7/etc/hadoop/yarn-env.sh来ました 

書き込み

     輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_211 /

フィギュア

3.2、配置yarn-site.xml

       sudoは/opt/module/hadoop-2.7.7/etc/hadoop/yarn-site.xml来ました

コピーは、<設定>タグに書き込まれていることに注意してください

<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop113</value>
</property>

(4)MapReduceのプロファイル

4.1、設定mapred-env.sh

           sudoは/opt/module/hadoop-2.7.7/etc/hadoop/mapred-env.sh来ました 

書き込み

輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_211 /

4.2、配置mapred-site.xml

mepred-site.xmlファイルには、テンプレートを使用して考える必要性が存在しません。

mapred-site.xmlの名前のcpコマンドコピーmapred-site.xml.template

sudoのcpは/opt/module/hadoop-2.7.7/etc/hadoop/mapred-site.xml.template /opt/module/hadoop-2.7.7/etc/hadoop/mapred-site.xml

それから   

     sudoは/opt/module/hadoop-2.7.7/etc/hadoop/mapred-site.xml来ました

書き込み

<!-- 指定MR运行在Yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

(5)スレーブのファイルを変更し、Hadoopの-3.2.1バージョンは、Hadoopのファイルの労働者であります

いいえスペースず、空白行

vimの/opt/module/hadoop-2.7.7/etc/hadoop/slaves

ディストリビューションのプロフィール

XSYNCスクリプトによって分散

XSYNCは別のブログを参照してくださいについて:https://blog.csdn.net/qq_41813208/article/details/102575933

次のコマンド、hadoop113に変更されたHadoopプロファイル同期、hadoop114サーバーを実行します

XSYNC /opt/moudel/hadoop-2.7.7

 

同期最後に、あなたはそれが、hadoop114サーバの設定がファイルとhadoop112をhadoop113テストすることができます

例えば、コア-site.xmlファイルを見て

猫/opt/module/hadoop-2.7.7/etc/hadoop/core-site.xml

そして、同じhadoop112か

 

最後に集まったクラスター

まず、すべてのサーバーのデータノードは、名前ノード、SecondaryNameNodeプロセスを終了する必要があります

閉じるJPSのJPSを入力するには、以外のすべてのプロセスを表示します

注意!

名前ノードは、HDFSを開始する前にフォーマットする必要があります     

これは次の理由によりリンクのため、このコマンドを使用しない-format後ろHDFS名前ノードを実行する必要が初めての場合

(*注フロントと書式設定は、その理由をフォーマットする必要はありません場合は、ブログ見ている理由の名前ノードをフォーマットされていません

まず、HDFSを開始

Closeメソッド

入力:stop-dfs.sh

Startメソッド

start-dfs.shを入力します。

ルートディレクトリのHadoop sbinに/の下にこのスクリプトファイル

第二に、スタートYARN

ノートを取るために巨大なピット必要!

でなければなりませんhadoop113 hadoop113上の理由ResourceManegerにスタート!

実行start-yarn.sh

得到启动结果,如果中途遇到输入密码,则配置一下无密登录

关于无密登录参考这两篇博客:

https://blog.csdn.net/qq_41813208/article/details/102597273

https://blog.csdn.net/qq_41813208/article/details/102575933

 

 

最后验证一下 

如果访问不到页面,则关闭服务器的防火墙

在hadoop112上关闭,输入sudo systemctl stop firewalld.service 即可关闭防火墙,就可以访问到下面的页面

永久关闭sudo systemctl disable firewalld.service

浏览器输入hadoop112的ip+50070端口访问页面表示成功!

http://hadoop112:50070

 

发布了242 篇原创文章 · 获赞 13 · 访问量 1万+

おすすめ

転載: blog.csdn.net/qq_41813208/article/details/102595725
おすすめ