Hadoop3.2.0 + Centos7 3ノード完全に分散インストール構成

まず、環境を準備

3台の仮想マシンを準備①、静的にIPを設定します

②ホスト名(各ノード統一命名規則)を変更するには

VIMの/ etc / ホスト名の
マスター  を有効にする、再起動

各ノードに設定されたDNS

VIMの/ etc / ホスト
 192.168.60.121 master192.168.60.122 salve1
 192.168.60.123 salve2

恒久的にファイアウォールを無効にします

systemctl停止firewalld 
systemctl無効firewalld

無料の密なログインを設定します

輸送へのssh-keygenは-t rsaの#すべての方法
の.sshにcd
CP位authorized_keysにid_rsa.pub公開鍵を生成します

ノードは、公開鍵にコピー

SCPのauthorized_keysルート@スレーブ1:/root/.ssh/
SCPのauthorized_keysルート@スレーブ2:/root/.ssh/

ホストのCDの.sshにhadoop2にログオンします

id_isa.pub >> authorized_keysに猫   #は猫の追加モードを使用します

その後、ホストリピートにログイン操作2、公開鍵と3つのホストにコピー

第二に、コンフィギュレーション・jdk1.8

JDKは、カスタムディレクトリに抽出します

vimのは/ etc / profileを#追加し、以下の情報を
輸出JAVA_HOME = JDKのインストールディレクトリ
をエクスポートJAVA_HOME CLASSPATH = $ / libに/
エクスポートPATH = $ PATH:JAVA_HOME / binに
[保存実行  
#source / etc / profileを
検証
#java -version

三、Hadoopの環境設定

開梱およびカスタムの場所への移動

VIMは、/ etc / プロフィール
 =エクスポートHADOOP_HOMEであるHadoopのインストールディレクトリ
 $ HADOOP_HOMEが/ある:エクスポートPATH = $ PATH ビン
エクスポートPATH = $ PATH:$ HADOOP_HOMEは/ sbinに
エクスポートHADOOP_CONF_DIR =を$ {HADOOP_HOMEである}の/ etc / Hadoopのが
に影響を与えるために資源更新
ソース/など/プロフィール

まず、hadoop-env.sh、mapred-env.sh、yarn-env.shファイルでJDKへのパスを指定します

輸出JAVA_HOME = JDKのインストールディレクトリ

 配置core-site.xml

<構成> 
  <プロパティ> 
    <名前> fs.checkpoint.period </名前> 
    <値> 3600 </値> 
  </ property>の
  <プロパティ> 
    <名前> fs.checkpoint.size </名前> 
    <値> 67108864 < /値> 
  </ property>の
  <プロパティ> 
    <名前> fs.defaultFS </名前> 
    <値> HDFS://ノード1:9000 </ value>の
  </ property>の
  <プロパティ> 
    <名前> hadoop.tmp.dir < /名前> 
    <値>のファイル:は/ usr / local /データ/ HDFSを/ tmp </ value>の
  < / property>の
  <プロパティ> 
    <名前> hadoop.http.staticuser.user </名前> 
    <値>ルート</値> 
  </ property>の
</設定>

設定HDFS-site.xmlの

<設定> 
  <プロパティ> 
    <名前> dfs.replication </名前> 
    <値> 2 </ value>の
  </ property>の
  <プロパティ> 
    <名前> dfs.namenode.name.dir </名前> 
    <値>のファイル: / usr / local /データ/ HDFS /名前</ value>の
  </ property>の
  <プロパティ> 
    <名前> dfs.datanode.data.dir </名前> 
    <値>のファイル:は/ usr / local /データ/ HDFS /データ</ value>の
  </ property>の
  <プロパティ> 
    <名前> dfs.namenode.secondary.httpアドレス</名前> 
    <値>はnode1:50090 </ value>の
  </ property>の
  <プロパティ> 
    <名前> dfs.namenode 。HTTP-アドレス</名前> 
    <値>はnode1:50070 </ value>の
  </ property>の 
  <プロパティ>
    <名前> dfs.namenode.checkpoint.dir </名前> 
    <値>のファイル:は/ usr / local /データ/ HDFS /チェックポイント</ value>の
  </ property>の
  <プロパティ> 
    <名前> dfs.namenode.checkpoint.edits .DIR </名前> 
    <値>のファイル:は/ usr / local /データ/ HDFS /編集</ value>の
  </ property>の
</設定>

糸-site.xmlの設定

<プロパティ> 
  <名前> yarn.resourcemanager.hostname </名前> 
  <value>は、ノード1 </ value>の
</ property>の
<プロパティ> 
  <名前> yarn.nodemanager.aux-サービス</名前> 
  <値> mapreduce_shuffle </値> 
</ property>の
<プロパティ> 
  <名前> yarn.nodemanager.aux-services.mapreduce.shuffle。クラス </名前> 
  <値> org.apache.hadoop.mapred.ShuffleHandle </ value>の
</ property>の
<プロパティ> 
  <名前> yarn.resourcemanager.resource-tarcker.address </名前> 
  <値>はnode1:8025 </ value>の
</ property>の
<プロパティ> 
  <名前>糸。
<プロパティ> 
  <名前> yarn.resourcemanager.address </名前> 
  <値>はnode1:8040 </ value>の
</ property>の
<プロパティ> 
  <名前> yarn.resourcemanager.admin.address </名前> 
  <値>はnode1 :8033 </ value>の
</ property>の
<プロパティ> 
  <名前> yarn.resourcemanager.webapp.address </名前> 
  <値>はnode1:8088 </ value>の
</ property>の

mapred-site.xmlの設定

<構成> 
  <プロパティ> 
    <名前> mapreduce.framework.name </名前>     <値>糸</値>   </ property>の   <プロパティ>     <名前> mapred.job.tarcker </名前>     <値>ノード1: 10020 </値>   </ property>の   <プロパティ>     <名前> mapreduce.jobhistory.webapp.address </名前>     <値>ノード1:19888 </値>   </ property>の </構成>

変更の労働者ファイル、削除ローカルホスト、および取り替え

スレーブ1 
スレーブ2

新規フォルダ(設立も可能であるべきではありません)

MKDIRは/ usr / local /データ/ HDFS / tmpに
ます。mkdirは/ usr / local /データ/ HDFS / 名称
ます。mkdirは/ usr / local /データ/ HDFS / データ
ます。mkdirは/ usr / local /データ/ HDFS / チェックポイント
ます。mkdirは/ usr / local /データ/ HDFS /編集

ノードのHadoopにファイルをコピーします。

SCP -r /宛先ディレクトリhadoop2:./先ディレクトリ

名前ノードをフォーマットHadoopのインストール、

binディレクトリ./Hdfs名前ノード-formatにcd

スタートのHadoop

次sbinににcd ./start-all.sh

OVER ...

おすすめ

転載: www.cnblogs.com/jake-jin/p/11978376.html
おすすめ