Hadoopのは、最初のJDK間違ったパス(ルートユーザと一般ユーザ別の下のパス)を設定し、Hadoopの開始の異なるバージョンがエラーのために存在し、この最近建てられたピットの多くを踏ん、オンラインで見つけるhadoop2である。*。*バージョン、しかし、私はhadoop3を設置。*。*バージョン、いくつかの異なる環境の設定があります。私たちは、同じ過ちを繰り返さないことを望みます!
インストールパッケージのHadoopをダウンロード
インストールの設定
1.ホスト名を設定します。
ファイルには、任意の元のホスト名を削除し、独自のホスト名を追加し、保存して終了。
viのは/ etc /ホスト名
2. [設定のhostsファイル:
ちょうど良いホスト名を持つマシンのIPアドレスと、ファイルの最後の増加は、保存して終了。
VIの/ etc / hosts
3. SSHキーを生成します。次のコマンドを実行して、Enterてきました。SSH鍵を生成します。生成されたキーファイルは/root/.ssh/ディレクトリに保存されます。ログインするとsshキーを生成するには、rootアカウントを使用することを提供します。
SSH-keygenは
マシンログの4.無料密の設定:良いSSHキーを生成します、次のコマンドを実行するだけで、指定したマシン、高密度の無料ログを達成するために、マシンを送信します。
SSH-は著作前述のIDルート@ホスト名を
アップロードとダウンロードしたHadoopのインストールパッケージを解凍し、アップロードディレクトリがxshellからドラッグすることができます
タールのHadoop-3.1.2.tar.gz -zxvf(私は私のパッケージ名ですここに書きます)
6.設定hadoop-env.shファイルを:変更が完了した後、このファイルには、Hadoopの環境変数、JAVA_HOME、HADOOP_HOMEとHADOOP_CONF_DIRパスの主な変更のHadoop、保存して終了を書かれています。
CDのHadoop-3.1.2の/ etc / Hadoopの/
我々はhadoop-env.sh
7.改変コアsite.xmlファイル:使用VIコア-site.xmlの開いているファイルは、以下の構成パラメータ。
。1 <構成> 2 < - HDFSのボス、名前ノードのアドレスを指定します- !> 3。 <プロパティ> 4。 <名前> fs.defaultFS </名前> 5。 <値> HDFSを:// ホスト名:9870 < / value>は 6。 </プロパティ> 7。 <! - Hadoopの格納ディレクトリを指定するには、運転中に生成される一時ファイルは、デフォルトの設定は、セキュリティ上のリスクが/ tmpディレクトリを使用しない場合- > 8 <プロパティ> 9。 <名前>のHadoop。 TMP。DIR </名前> 10 <値> Hadoopのパスを/ tmp </ value>の 。11 </プロパティ> 12である </構成>
8. HDFS-site.xmlの変更:使用viのHDFS-site.xmlを開いているファイルは、以下の構成パラメータ。
1 <! -そのデフォルト値を含むデータ保存HDFSのコピー数を指定します3。 - > 2 <! -偽の分布パターンの場合、この値は1 - > 3 <プロパティ> 4。 <名前> DFS .replication </名前> 。5 <値> 。1 </ value>の 。6 </プロパティ> 7。 <! - 、設定操作を許可をHDFS falseにすべてのユーザーがHDFS上のファイルを操作することができ示し- > 8 <プロパティ> 。9 <名前> dfs.permissions </名前> 10 <値> falseに </値> 11 </プロパティ> 12である 13である <プロパティ> 14 <名前> dfs.http.address </名前> 15 <値> 0.0。0.0:9870 </値> 16 </プロパティ>
9. mapred-site.xmlを:使用VI-mapred site.xmlを、以下の設定パラメータ。(hadoop3。*これ直接修正このファイルを、hadoop2。*何の初期mapred-site.xmlには、この文書が存在しない場合には、いくつかのテンプレートファイル、mapred-site.xml.templateは、コピーする必要があり、かつmapredの名前を変更-site.xml)
1 <プロパティ> 2 <! -指定のMapReduce运行在糸上- > 3 <名前> mapreduce.framework.name </名前> 4 <値>糸</値> 5 </プロパティ>
10.改変糸site.xmlの:使用VI糸site.xmlの開いているファイルは、以下の構成パラメータ。
。1 <プロパティ> 2 <! -指定されたアドレスでボスresoucemanager糸- > 。3 。<名前> yarn.resourcemanagerのホスト名 </名前> 。4 <値>ホスト名</ value>の 。5 </プロパティ> 6 <プロパティ> 7。 <! -ノードマネージャでの要求データ- > 8 <名前> yarn.nodemanager.aux-サービス</名前> 9 <値> mapreduce_shuffle </ value>は 10 </プロパティ>
11.スレーブ設定ファイル:使用してviの奴隷を、ファイルを開くには、次の設定パラメータを追加します。
ホスト名の #は、ホスト名を書きます
12.コンフィギュレーションのHadoop環境変数:使用のvi / etc / profileをファイルを開くには、次の設定パラメータ。使用して、保存して終了ソースは/ etc / profileの設定をすぐに有効にするには、コマンドを。
1 #を設定環境変数のHadoop 2エクスポートHADOOP_HOMEが=あるHadoopの経路 3。エクスポートPATH PATH = $ {}:{HADOOP_HOMEある$} / binに$ {} HADOOP_HOMEは/ sbinにあります
13.フォーマットの名前ノード:名前ノードはHadoopのには、次のコマンドでフォーマット。首尾よく成功に代わって登場しました。
Hadoop名前ノードの-format
14.hadoop3。*バージョン、エラーは、この時点で開始されます
ユーザー定義の原因の欠如のため、その起動とシャットダウンスクリプトディレクトリのHadoopにそれぞれ編集
vimのstart-dfs.sh / sbinに
Vimのsbinに/ stop-dfs.sh
上の空間に依存するコンテンツを追加します。
- HDFS_DATANODE_USER =ルート
- HDFS_DATANODE_SECURE_USER = HDFS
- HDFS_NAMENODE_USER =ルート
- HDFS_SECONDARYNAMENODE_USER =ルート
Vimのsbinに/ start-yarn.sh
Vimのsbinに/ stop-yarn.sh
上の空間に依存するコンテンツを追加します。
YARN_RESOURCEMANAGER_USER =ルート
HADOOP_SECURE_DN_USER =糸
YARN_NODEMANAGER_USER =ルート
15.スタートのHadoop:使用start-all.sh開始Hadoopのコマンドを実行します。起動後、によってJPSプロセスノードのコマンドを参照してください。6つのノードアドレスと説明が正常に起動する場合。