ビッグデータ組織-3-hadoop分散インストール3台のマシン

#vi / etc / hosts

kf23	192.168.0.50	master
kf2	    192.168.0.51	slave1
kf3	    192.168.0.52	slave2

1パスワードなしのログイン

クラスターモードまたはシングルノードモードでは、SSHログインが必要です
#yum install openssh-
serverinstalls ssh #ssh kf23 sshコマンドが使用可能かどうかをテストします
（1）パスワードなしでログインするようにsshを設定し
ます
＃cd〜 / .ssh ＃ssh-keygen -t rsa ＃有プロンプト、すべて入力
#cat id_rsa.pub >> ./authorized_keys#認証に参加
#ssh kf23 test sshログインパスワードなし
（2）各ノードへのパスワードなしのログイン
kf23ノードにパスワードなしで各kf2、kf3ノードにSSHログインさせます。
（2-1）公開鍵をkf23ノードのkf2ノードとkf2ノードに送信します
。scp/ root /
.ssh / id_rsa.pub root @ kf2：/ root #scp /root/.ssh/id_rsa.pub root @ kf3： / root
（2-2）ssh公開鍵をkf2およびkf3ノードの認証に追加し
ます
＃mkdir〜 / .ssh ＃フォルダーがすでに存在する場合は、このコマンドを無視します＃cat〜 / id_rsa.pub >>〜/ .ssh / authorized_keys
＃rm〜 / id_rsa.pub
＃使用後に削除（2-3）kf23のパスワードなしでkf2およびkf3ノードに
ssh
[root @ kf23〜] ＃ssh kf2 [root @ kf23〜] ＃ssh kf3

2Java環境をインストールします

3台すべてのマシンをインストールし、JavaJDKをインストールする必要があります。
#tar -xzvf jdk-8u181-linux-x64.tar.gz -C / usr / local /
#vi /root/.bashrc

export JAVA_HOME=/usr/local/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin

#source /root/.bashrc
#java -version

3Hadoopをインストールします

3台すべてのマシンをインストールする必要があります

3.1ダウンロードしてインストールする

#tar -xzvf hadoop-2.8.0.tar.gz -C / usr / local
#cd / usr / local
#mv ./hadoop-2.8.0/ ./hadoop
#vi /root/.bashrc

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export HADOOP_CLASSPATH=/usr/local/hadoop/share/hadoop/common/lib

#source /root/.bashrc

3.2構成ファイルを変更する

クラスター分散環境では、/ usr / local / hadoop / etc / hadoopにある5つの構成ファイルを変更する必要があります。ここでは、通常の起動に必要な設定項目のみを設定します。
#cd / usr / local / hadoop / etc / hadoop /

3.2.1スレーブファイル

ここでは、kf23ノードをNameNodeとしてのみ使用するため、ファイル内の元のlocalhostが削除され、コンテンツkf2とkf3の2行のみが追加されます。
#vimスレーブ

kf2
kf3

3.2.2core-site.xmlファイル

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://kf23:9000</value>
  <description>The name of the default file system. </description>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>file:/usr/local/hadoop/tmp</value>
  <description>A base for other temporary directories.</description>
</property>
</configuration>

3.2.3hdfs-site.xmlファイル

<configuration>
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>kf23:50090</value>
</property>
</configuration>

スタンドアロンでは、
mapred-site.xmlファイルとyarn-site.xmlファイルの2つのファイルを構成する必要はありません。

3.2.4mapred-site.xmlファイル[yarnを開始する場合に必要]

#cp ./mapred-site.xml.template ./mapred-site.xml

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>kf23:10020</value>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>kf23:19888</value>
</property>
</configuration>

3.2.5yarn-site.xmlファイル[yarnが開始された場合に必要]

<configuration>
<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value> mapreduce_shuffle </value>
  </property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>kf23</value>
  </property>   
</configuration>

YARNを実行するには、マシンをリソースマネージャーとして指定する必要があります。最も簡単な方法は、プロパティyarn.resourcemanager.hostnameを、リソースマネージャーの実行に使用されるマシンのホスト名またはIPアドレスに設定することです。基本的に、リソースマネージャーサーバーのアドレスはこの属性から取得できます。

3.2.6hadoop-env.shファイル

#vi hadoop-env.shは
次のように構成され、残りはデフォルトで保持できます

#The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.8.0_181

4クラスターを開始します

最初の開始では、
kf23でフォーマットを実行する必要があります。
＃hdfs namenode -format ＃start-dfs.shクラスターを開始します
http：// kf23：50070 Webページを表示します
＃stop-dfs.shクラスターを停止します