centos7 hadoop3を構築する。*。*シリーズ

  Hadoopのは、最初のJDK間違ったパス(ルートユーザと一般ユーザ別の下のパス)を設定し、Hadoopの開始の異なるバージョンがエラーのために存在し、この最近建てられたピットの多くを踏ん、オンラインで見つけるhadoop2である。*。*バージョン、しかし、私はhadoop3を設置。*。*バージョン、いくつかの異なる環境の設定があります。私たちは、同じ過ちを繰り返さないことを望みます!

 

インストールパッケージのHadoopをダウンロード

住所:http://hadoop.apache.org/

 

インストールの設定

1.ホスト名を設定します。

  ファイルには、任意の元のホスト名を削除し、独自のホスト名を追加し、保存して終了。

viのは/ etc /ホスト名

 

2. [設定のhostsファイル:

  ちょうど良いホスト名を持つマシンのIPアドレスと、ファイルの最後の増加は、保存して終了。

VIの/ etc / hosts

 

3. SSHキーを生成します。次のコマンドを実行して、Enterてきました。SSH鍵を生成します。生成されたキーファイルは/root/.ssh/ディレクトリに保存されます。ログインするとsshキーを生成するには、rootアカウントを使用することを提供します。

SSH-keygenは

 

マシンログの4.無料密の設定:良いSSHキーを生成します、次のコマンドを実行するだけで、指定したマシン、高密度の無料ログを達成するために、マシンを送信します。

SSH-は著作前述のIDルート@ホスト名を

 

アップロードとダウンロードしたHadoopのインストールパッケージを解凍し、アップロードディレクトリがxshellからドラッグすることができます

タールのHadoop-3.1.2.tar.gz -zxvf(私は私のパッケージ名ですここに書きます)

 

6.設定hadoop-env.shファイルを:変更が完了した後、このファイルには、Hadoopの環境変数、JAVA_HOME、HADOOP_HOMEとHADOOP_CONF_DIRパスの主な変更のHadoop、保存して終了を書かれています。

CDのHadoop-3.1.2の/ etc / Hadoopの/

我々はhadoop-env.sh

 

7.改変コアsite.xmlファイル:使用VIコア-site.xmlの開いているファイルは、以下の構成パラメータ。

。1 <構成> 
 2 < - HDFSのボス、名前ノードのアドレスを指定します- !> 
 3。 <プロパティ> 
 4。 <名前> fs.defaultFS </名前> 
 5。 <値> HDFSを:// ホスト名:9870 < / value>は
6。 </プロパティ> 
 7。 <! - Hadoopの格納ディレクトリを指定するには、運転中に生成される一時ファイルは、デフォルトの設定は、セキュリティ上のリスクが/ tmpディレクトリを使用しない場合- > 
 8 <プロパティ> 
 9。 <名前>のHadoop。 TMP。DIR </名前> 
 10 <値> Hadoopのパスを/ tmp </ value>の 
 。11 </プロパティ> 
 12である </構成>

 

8. HDFS-site.xmlの変更:使用viのHDFS-site.xmlを開いているファイルは、以下の構成パラメータ。

1 <! -そのデフォルト値を含むデータ保存HDFSのコピー数を指定します3。 - >
 2      <! -偽の分布パターンの場合、この値は1 - >
 3      <プロパティ>
 4。          <名前> DFS .replication </名前>
 。5          <値> 。1 </ value>の
 。6      </プロパティ>
 7。      <! - 、設定操作を許可をHDFS falseにすべてのユーザーがHDFS上のファイルを操作することができ示し- >
 8      <プロパティ>
 。9          <名前> dfs.permissions </名前>
 10          <値> falseに </値>
 11      </プロパティ>
 12である 
13である      <プロパティ>
14         <名前> dfs.http.address </名前>
 15          <値> 0.00.09870 </値>
 16      </プロパティ>

 

9. mapred-site.xmlを:使用VI-mapred site.xmlを、以下の設定パラメータ。(hadoop3。*これ直接修正このファイルを、hadoop2。*何の初期mapred-site.xmlには、この文書が存在しない場合には、いくつかのテンプレートファイル、mapred-site.xml.templateは、コピーする必要があり、かつmapredの名前を変更-site.xml)

1       <プロパティ> 
 2      <! -指定のMapReduce运行在糸上- > 
 3          <名前> mapreduce.framework.name </名前> 
 4          <値>糸</値> 
 5      </プロパティ>

 

10.改変糸site.xmlの:使用VI糸site.xmlの開いているファイルは、以下の構成パラメータ。

。1 <プロパティ> 
 2      <! -指定されたアドレスでボスresoucemanager糸- > 
 。3          。<名前> yarn.resourcemanagerのホスト名 </名前> 
 。4          <値>ホスト名</ value>の 
 。5      </プロパティ> 
 6      <プロパティ> 
 7。      <! -ノードマネージャでの要求データ- > 
 8          <名前> yarn.nodemanager.aux-サービス</名前> 
 9          <値> mapreduce_shuffle </ value>は 
 10      </プロパティ>

 

11.スレーブ設定ファイル:使用してviの奴隷を、ファイルを開くには、次の設定パラメータを追加します。

ホスト名の   #は、ホスト名を書きます

 

12.コンフィギュレーションのHadoop環境変数:使用のvi / etc / profileをファイルを開くには、次の設定パラメータ。使用して、保存して終了ソースは/ etc / profileの設定をすぐに有効にするには、コマンドを。

1  #を設定環境変数のHadoop
 2エクスポートHADOOP_HOMEが=あるHadoopの経路
 3。エクスポートPATH PATH = $ {}:{HADOOP_HOMEある$} / binに$ {} HADOOP_HOMEは/ sbinにあります

 

13.フォーマットの名前ノード:名前ノードはHadoopのには、次のコマンドでフォーマット。首尾よく成功に代わって登場しました。

Hadoop名前ノードの-format

 

14.hadoop3。*バージョン、エラーは、この時点で開始されます

 

 

ユーザー定義の原因の欠如のため、その起動とシャットダウンスクリプトディレクトリのHadoopにそれぞれ編集 
vimのstart-dfs.sh / sbinに 
Vimのsbinに/ stop-dfs.sh 
上の空間に依存するコンテンツを追加します。 

  1. HDFS_DATANODE_USER =ルート  
  2. HDFS_DATANODE_SECURE_USER = HDFS  
  3. HDFS_NAMENODE_USER =ルート
  4. HDFS_SECONDARYNAMENODE_USER =ルート 

 

Vimのsbinに/ start-yarn.sh 
Vimのsbinに/ stop-yarn.sh

上の空間に依存するコンテンツを追加します。 

  YARN_RESOURCEMANAGER_USER =ルート
  HADOOP_SECURE_DN_USER =糸
  YARN_NODEMANAGER_USER =ルート

15.スタートのHadoop:使用start-all.sh開始Hadoopのコマンドを実行します。起動後、によってJPSプロセスノードのコマンドを参照してください。6つのノードアドレスと説明が正常に起動する場合。

 



 

おすすめ

転載: www.cnblogs.com/sunbr/p/11432851.html