まず、環境を準備
3台の仮想マシンを準備①、静的にIPを設定します
②ホスト名(各ノード統一命名規則)を変更するには
VIMの/ etc / ホスト名の マスター #を有効にする、再起動
各ノードに設定されたDNS
VIMの/ etc / ホスト 192.168.60.121 master192.168.60.122 salve1 192.168.60.123 salve2
恒久的にファイアウォールを無効にします
systemctl停止firewalld
systemctl無効firewalld
無料の密なログインを設定します
輸送へのssh-keygenは-t rsaの#すべての方法
の.sshにcd
CP位authorized_keysにid_rsa.pub公開鍵を生成します
ノードは、公開鍵にコピー
SCPのauthorized_keysルート@スレーブ1:/root/.ssh/
SCPのauthorized_keysルート@スレーブ2:/root/.ssh/
ホストのCDの.sshにhadoop2にログオンします
id_isa.pub >> authorized_keysに猫 #は猫の追加モードを使用します
その後、ホストリピートにログイン操作2、公開鍵と3つのホストにコピー
第二に、コンフィギュレーション・jdk1.8
JDKは、カスタムディレクトリに抽出します
vimのは/ etc / profileを#追加し、以下の情報を
輸出JAVA_HOME = JDKのインストールディレクトリ
をエクスポートJAVA_HOME CLASSPATH = $ / libに/
エクスポートPATH = $ PATH:JAVA_HOME / binに
[保存実行
#source / etc / profileを
検証
#java -version
三、Hadoopの環境設定
開梱およびカスタムの場所への移動
VIMは、/ etc / プロフィール =エクスポートHADOOP_HOMEであるHadoopのインストールディレクトリ $ HADOOP_HOMEが/ある:エクスポートPATH = $ PATH ビン エクスポートPATH = $ PATH:$ HADOOP_HOMEは/ sbinに エクスポートHADOOP_CONF_DIR =を$ {HADOOP_HOMEである}の/ etc / Hadoopのが
に影響を与えるために資源更新
ソース/など/プロフィール
まず、hadoop-env.sh、mapred-env.sh、yarn-env.shファイルでJDKへのパスを指定します
輸出JAVA_HOME = JDKのインストールディレクトリ
配置core-site.xml
<構成> <プロパティ> <名前> fs.checkpoint.period </名前> <値> 3600 </値> </ property>の <プロパティ> <名前> fs.checkpoint.size </名前> <値> 67108864 < /値> </ property>の <プロパティ> <名前> fs.defaultFS </名前> <値> HDFS://ノード1:9000 </ value>の </ property>の <プロパティ> <名前> hadoop.tmp.dir < /名前> <値>のファイル:は/ usr / local /データ/ HDFSを/ tmp </ value>の < / property>の <プロパティ> <名前> hadoop.http.staticuser.user </名前> <値>ルート</値> </ property>の </設定>
設定HDFS-site.xmlの
<設定> <プロパティ> <名前> dfs.replication </名前> <値> 2 </ value>の </ property>の <プロパティ> <名前> dfs.namenode.name.dir </名前> <値>のファイル: / usr / local /データ/ HDFS /名前</ value>の </ property>の <プロパティ> <名前> dfs.datanode.data.dir </名前> <値>のファイル:は/ usr / local /データ/ HDFS /データ</ value>の </ property>の <プロパティ> <名前> dfs.namenode.secondary.httpアドレス</名前> <値>はnode1:50090 </ value>の </ property>の <プロパティ> <名前> dfs.namenode 。HTTP-アドレス</名前> <値>はnode1:50070 </ value>の </ property>の <プロパティ> <名前> dfs.namenode.checkpoint.dir </名前> <値>のファイル:は/ usr / local /データ/ HDFS /チェックポイント</ value>の </ property>の <プロパティ> <名前> dfs.namenode.checkpoint.edits .DIR </名前> <値>のファイル:は/ usr / local /データ/ HDFS /編集</ value>の </ property>の </設定>
糸-site.xmlの設定
<プロパティ>
<名前> yarn.resourcemanager.hostname </名前>
<value>は、ノード1 </ value>の
</ property>の
<プロパティ>
<名前> yarn.nodemanager.aux-サービス</名前>
<値> mapreduce_shuffle </値>
</ property>の
<プロパティ>
<名前> yarn.nodemanager.aux-services.mapreduce.shuffle。クラス </名前>
<値> org.apache.hadoop.mapred.ShuffleHandle </ value>の
</ property>の
<プロパティ>
<名前> yarn.resourcemanager.resource-tarcker.address </名前>
<値>はnode1:8025 </ value>の
</ property>の
<プロパティ>
<名前>糸。
<プロパティ>
<名前> yarn.resourcemanager.address </名前>
<値>はnode1:8040 </ value>の
</ property>の
<プロパティ>
<名前> yarn.resourcemanager.admin.address </名前>
<値>はnode1 :8033 </ value>の
</ property>の
<プロパティ>
<名前> yarn.resourcemanager.webapp.address </名前>
<値>はnode1:8088 </ value>の
</ property>の
mapred-site.xmlの設定
<構成> <プロパティ>
<名前> mapreduce.framework.name </名前> <値>糸</値> </ property>の <プロパティ> <名前> mapred.job.tarcker </名前> <値>ノード1: 10020 </値> </ property>の <プロパティ> <名前> mapreduce.jobhistory.webapp.address </名前> <値>ノード1:19888 </値> </ property>の </構成>
変更の労働者ファイル、削除ローカルホスト、および取り替え
スレーブ1
スレーブ2
新規フォルダ(設立も可能であるべきではありません)
MKDIRは/ usr / local /データ/ HDFS / tmpに ます。mkdirは/ usr / local /データ/ HDFS / 名称 ます。mkdirは/ usr / local /データ/ HDFS / データ ます。mkdirは/ usr / local /データ/ HDFS / チェックポイント ます。mkdirは/ usr / local /データ/ HDFS /編集
ノードのHadoopにファイルをコピーします。
SCP -r /宛先ディレクトリhadoop2:./先ディレクトリ
名前ノードをフォーマットHadoopのインストール、
binディレクトリ./Hdfs名前ノード-formatにcd
スタートのHadoop
次sbinににcd ./start-all.sh
OVER ...