Hadoopの完全なディストリビューションインストールの詳細なプロセス-------- **** --------（ubuntuバージョン）

ubuntu版本：

一般的に使用される国内ミラーソースベース：https：//blog.csdn.net/m0_46202060/article/details/106251733

1.インストールパッケージとテストドキュメントをダウンロードし
、ディレクトリを/ tmpに切り替えます

-------------------------------------------------- ----------------（対応するインストールパッケージはミラーソースからダウンロードできます）--------------------- ---------------------------------------------------------------

cd /tmp  

Hadoopインストールパッケージをダウンロードする

-------------------------------------------------- ------------------- hadoop-2.6.0-cdh5.4.5.tar.gz ------------------ -------------------------------------------------- --------

JDKインストールパッケージをダウンロードする

-------------------------------------------------- ------------------- jdk-7u75-linux-x64.tar.gz -------------------- -------------------------------------------------- ----------

2.
JavaJDKをインストールします。ここにインストールされているバージョンはjdk-7u75-linux-x64.tar.gzです。

現在のユーザーは通常のユーザーであり、スーパー管理者は/ optディレクトリを操作できます。特権を取得するためにsudoコマンドを使用する必要があるのは、正常に解凍できます。コマンドはそれを/ optディレクトリに解凍します。

sudo tar -zxvf /tmp/jdk-7u75-linux-x64.tar.gz  -C /opt/  

そして、解凍されたフォルダjdk-7u75-linux-x64の名前をjavaに変更します。

sudo mv /opt/jdk1.7.0_75 /opt/java  

Javaディレクトリのユーザーとグループを変更します。

sudo chown -R zhangyu.zhangyu /opt/java

jdkをインストールして環境変数を構成した後、/ etc / profileを編集します。

sudo vim /etc/profile  

ドキュメントの最後に以下を追加します。

export JAVA_HOME=/opt/java  
export PATH=$JAVA_HOME/bin:$PATH  

環境変数の更新：

source /etc/profile  

環境変数を更新した後、javaホームディレクトリからjavaで使用できるコマンドを見つけることができます。javaを使用してバージョン番号コマンドを表示し、インストールが成功したかどうかを確認します。

java -version  

通常の結果は次のとおりです。

3.Hadoopのインストールここにインストールされているバージョンはhadoop-2.6.0-cdh5.4.5.tar.gzです。コマンドはそれを/ optディレクトリに抽出します。

sudo tar -zxvf  /tmp/hadoop-2.6.0-cdh5.4.5.tar.gz  -C /opt/  

そして、解凍されたフォルダーの名前をhadoop-2.6.0-cdh5.4.5からhadoopに変更します。

sudo mv /opt/hadoop-2.6.0-cdh5.4.5 /opt/hadoop  

hadoopディレクトリのユーザーとグループを変更します。

sudo chown -R zhangyu.zhangyu /opt/hadoop  

jdkをインストールして環境変数を構成した後、/ etc / profileを編集します。

sudo vim /etc/profile  

最後に以下を追加します。

export HADOOP_HOME=/opt/hadoop  
export PATH=$HADOOP_HOME/bin:$PATH  

環境変数の更新：

source /etc/profile  

hadoopを使用してバージョン番号コマンドを表示し、インストールが成功したかどうかを確認します。

hadoop version  

通常の結果は次のとおりです。

4.ホストファイルを変更します
。ネットワークカード情報を取得するコマンドは次のとおりです。ifconfigおよびipa;コマンドを使用してネットワークカード情報を取得し、現在のノードのIPアドレスを表示します。/etc/hostsファイルを編集します。

sudo vim /etc/hosts  

ローカルマシンに対応するローカルIPアドレスのマッピング名と、他のノードのIPアドレスに対応するマッピング名を追加します。

0.0.0.0 master  
0.0.0.0 slave1  
0.0.0.0 slave2     

ここでの0.0.0.0は、3つの仮想マシンのIPを指し、それぞれのIPに対応している必要があります。

ホストファイルを設定した後、マッピング名を介して対応するIPアドレスにアクセスできます。

5.データフォルダを作成します

sudo mkdir /data  

所有者を現在のユーザーに変更します。

sudo chown -R zhangyu.zhangyu /data  

6、hadoophadoop-env.shファイル構成を変更します

vim  /opt/hadoop/etc/hadoop/hadoop-env.sh  

JAVA_HOMEをjavaが配置されているディレクトリに変更します。

export JAVA_HOME=/opt/java/  

7. hadoopcore-site.xmlファイルの構成を変更します。core-site.xmlファイルを
編集します。

vim  /opt/hadoop/etc/hadoop/core-site.xml  

次のxmlテキストに置き換えます（もちろん、自分で変更することもできます）。

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl"   
        href="configuration.xsl"?>  
<configuration>  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/data/tmp/hadoop/tmp</value>  
</property>  
<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://master:9000/</value>  
    <description>NameNode URI</description>  
</property>  
</configuration>  

ここには2つの構成があります。

1つはhadoop.tmp.dirで、hadoop処理中の一時ファイルの保存場所を構成します。ここのディレクトリ/ data /は事前に作成する必要があります。もう1つはfs.defaultFSで、HadoopHDFSファイルシステムのアドレスを構成します。

構成ファイルの先頭（<？xml version = "1.0"？>）には、スペースなどの不正な文字を含めることはできません。次の構成ファイルは同じです。

そうしないと、不正な文字がエラーとして報告されます。参照----解決策

8. hadoophdfs-site.xmlファイルの構成を変更します。hdfs-site.xmlファイルを
編集します。

vim  /opt/hadoop/etc/hadoop/hdfs-site.xml

次のxmlテキストに置き換えます。

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl"   
        href="configuration.xsl"?>  
<configuration>  
<property>  
    <name>dfs.namenode.name.dir</name>  
    <value>/data/tmp/hadoop/hdfs/name</value>  
</property>  
<property>  
    <name>dfs.datanode.data.dir</name>  
    <value>/data/tmp/hadoop/hdfs/data</value>  
</property>  
<property>  
     <name>dfs.replication</name>  
     <value>1</value>  
</property>  
<property>  
     <name>dfs.permissions</name>  
     <value>false</value>  
</property>  
</configuration>  

構成アイテムの説明：

dfs.namenode.name.dir、メタデータ情報の保存場所を構成します; dfs.datanode.data.dir、特定のデータ保存場所を構成します; dfs.replication、現在1つのノードを使用しているため、各データベースのバックアップ数を構成します、したがって、1に設定すると、2に設定すると、操作でエラーが報告されます。

9.Hadoopのyarn-site.xmlファイル構成を変更します。yarn-site.xmlファイルを
編集します。

vim  /opt/hadoop/etc/hadoop/yarn-site.xml  

次のxmlテキストに置き換えます。

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl"  
        href="configuration.xsl"?>  
<configuration>  
<property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
</property>  
</configuration>  

ここでの構成は、使用するサービスを指定することです。

10. hadoop mapred-site.xmlファイル構成を変更して、mapred-site.xmlファイルを
作成します。

vim  /opt/hadoop/etc/hadoop/mapred-site.xml  

次のxmlテキストを入力します。

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl"   
        href="configuration.xsl"?>  
<configuration>  
<property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
</property>  
</configuration>  

これは、mapreduceタスク処理に使用されるフレームワークを指定します。

11.Hadoopスレーブファイルの構成を変更します

vim  /opt/hadoop/etc/hadoop/slaves 

マスターノードのマッピング名とスレーブノードのマッピング名を上書きします。

master  
slave1  
slave2  

12.公開鍵を作成する
zhangyuユーザーの下に公開鍵を作成します。

ssh-keygen  

次のコンテンツが表示されます。

キーを保存するファイルを入力します（/home/zhangyu/.ssh/id_rsa）：

デフォルトのオプションを直接使用してEnterキーを押すと、次のコンテンツが表示されます。

パスフレーズを入力します（パスフレーズがない場合は空）：

直接入力すると、コンテンツが表示されます。

同じパスフレーズをもう一度入力します。

Enterキーを直接押すと、作成が完了し、結果の内容は次のようになります。

13.公開鍵をコピーします。処理中にzhangyuユーザーのパスワードを入力する必要があります

ssh-copy-id master  

ssh-copy-id slave1  

ssh-copy-id slave2  

ヒント：コマンドの実行中に「yes」とパスワード「zhangyu」を入力する必要があります。3つのノードを1つずつ実行して完了してください。

接続が正常かどうかをテストします。

ssh master  

ホスト名の変更に注意してください

入力しexitてテストを終了します。

ssh slave1  

入力しexitてテストを終了します。

ssh slave2  

入力しexitてテストを終了します。

テストから、認証キーが設定されているため、各ノードに接続するときにパスワードを入力する必要がないことがわかります。

14.ファイルをすべてのスレーブノードにコピーします

scp -r / opt / java / / opt / hadoop / slave1：/ tmp /

scp -r / opt / java / / opt / hadoop / slave2：/ tmp /
これで、マスターノードの構成は完了です。

---------------- = --------------------------------- -----------------------------------（^_）------------ -------------------------------------------------- ----------------- = ------------

クラスター構築用のSlave1

1.Java環境の構成

sudo mv /tmp/java /opt/  

jdkをインストールして環境変数を構成した後、/ etc / profileを編集します。

sudo vim /etc/profile  

ファイルの最後に以下を追加します。

export JAVA_HOME = / opt / java /
export PATH = $JAV{A}_{H}OME/bin：$パス

環境変数の更新：

 source /etc/profile  

javaを使用してバージョン番号コマンドを表示し、インストールが成功したかどうかを確認します。

 java -version  

2.ホストファイルを変更します

/ etc / hostsファイルを編集します。

 sudo vim /etc/hosts 

ローカルマシンに対応するローカルIPアドレスのマッピング名と、他のノードのIPアドレスに対応するマッピング名を追加します。

  0.0.0.0 master  
    0.0.0.0 slave1  
    0.0.0.0 slave2   

ノードのIPアドレスは「イントラネット管理アドレス」です
。3。公開鍵を作成します。

zhangyuユーザーの下に公開鍵を作成します。

 ssh-keygen  

次のコンテンツが表示されます。

キーを保存するファイルを入力します（/home/zhangyu/.ssh/id_rsa）：

デフォルトのオプションを直接使用してEnterキーを押すと、次のコンテンツが表示されます。

パスフレーズを入力します（パスフレーズがない場合は空）

直接入力すると、コンテンツが表示されます。

同じパスフレーズをもう一度入力してください

Enterキーを直接押して、作成を完了します。

公開鍵をコピーするには、プロセス中にユーザーパスワード「zhangyu」を入力する必要があります。

ssh-copy-id master  

ssh-copy-id slave1  

 ssh-copy-id slave2  

コピーした後、接続をテストできます。
4.Hadoop環境の構成

sudo mv /tmp/hadoop /opt/

hadoopをインストールした後、環境変数を構成し、/ etc / profileを編集します。

sudo vim /etc/profile  

ファイルの最後に以下を追加します。

 export HADOOP_HOME=/opt/hadoop/  
    export PATH=$HADOOP_HOME/bin:$PATH 

環境変数の更新：

 source /etc/profile 

hadoopを使用してバージョン番号コマンドを表示し、インストールが成功したかどうかを確認します。

hadoop version

5.データフォルダを作成します

sudo mkdir /data

所有者を現在のユーザーに変更します。

 sudo chown -R zhangyu.zhangyu /data  

この時点で、slave1の構成は完了です。

slave2とslave1の手順は同じなので、ここでは省略します。

---------------- = --------------------------------- -----------------------------------（^_）------------ -------------------------------------------------- ----------------- = ------------

以下の内容は、すべてのスレーブノードの構成が完了した後も続きます。

15.分散ファイルシステムをフォーマットします

Hadoopマスターノードで実行します（実行できるのは1回のみです）。

namenodeアクセサリの重要なステートメント：

/opt/hadoop/bin/hadoop namenode -format   

16. Hadoop
を起動して、Hadoopマスターノードで実行します。

/opt/hadoop/sbin/start-all.sh 

公開鍵を使用して他のマシンに接続できるようにするには、実行中に「yes」を入力する必要があります。

17.Hadoopプロセスを表示します
。Hadoopマスターノードで実行します。

jpsの
出力には6つのプロセスが含まれている必要があり、結果は次のようになります。

Hadoopスレーブノードで同じ操作を実行します。

jps  

出力には3つのプロセスが含まれている必要があります

18.コマンドラインに次のコードを入力して、HadoopWebUI管理インターフェイスを開きます。

firefox http://master:50070  

この時点で、Hadoopの完全なディストリビューションがインストールされました。！！

---------------- = --------------------------------- -----------------------------------（^_）------------ -------------------------------------------------- ----------------- = ------------

テストの次：

19. HDFSクラスターとMapReduceタスクプログラム
をテストするHadoopに付属のWordCountサンプルプログラムを使用してクラスターをチェックします。マスターノードで次の操作を実行して、HDFSディレクトリを作成します。

hadoop fs -mkdir /zhangyu/  

hadoop fs -mkdir /zhangyu/input  

テストファイルをHadoopHDFSクラスターディレクトリにアップロードします。

hadoop fs -put /tmp/word.txt /zhangyu/input  

ワードカウントプログラムを実行します。

cd /opt/hadoop/share/hadoop/mapreduce/  

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar wordcount /zhangyu/input/ /zhangyu/out/  

実行結果を表示します。

hadoop fs -ls /zhangyu/out/  

リストの結果に「_SUCCESS」ファイルが含まれている場合、コードクラスターは正常に実行されます。

特定の実行結果を表示するには、次のコマンドを使用できます。

hadoop fs -text /zhangyu/out/part-r-00000  

この時点で、クラスターのインストールは完了です。