ビルドへのHadoop環境 - 完全分散モード

1.Hadoopのインストールの準備:

(1)インストールしたLinuxオペレーティングシステム
(2)ファイアウォールをオフにする
(3)Linux上でJDKをインストールします
(4)hadoop2、hadoop3、hadoop4 3つのサーバーがされている一連の自由すぎて、緻密着陸

アーカイブとのconfigureのHadoop環境変数を抽出2

(1)インストールパッケージHadoopのコピーしたの/ opt /ソフトウェアファイルディレクトリ
は/ opt /モジュールのディレクトリへ(2)インストールパッケージHadoopのエキス
コマンド:

tar -zxvf hadoop-2.8.4.tar.gz -C /opt/module          //将hadoop-2.8.4.tar.gz解压到/opt/module目录下

(3)設定環境変数変更環境変数の設定ファイルコマンドを変更します。

vi ~/.bash_profile          //修改环境变量的文件

次のように追加する内容は次のとおりです。

HADOOP_HOME=/opt/module/hadoop-2.8.4
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

B環境変数は、
次のコマンドを入力します。

source ~/.bash_profile
設定ファイルを変更します。3.

(1)hadoop-env.sh変更
コマンドを:

vi hadoop-env.sh                             //修改hadoop-env.sh文件

次のように内容を変更します。

export JAVA_HOME=/opt/module/jdk1.8.0_144          //修改JAVAHOME地址,改为自己建的jdk地址,应该在25行              

JDK

(2)修正HDFS-site.xmlの
コマンド:

cd /opt/module/hadoop-2.8.4/etc/hadoop              //进入etc/hadoop目录

vi hdfs-site.xml                          // 修改hdfs-site.xml文件

次のように内容を変更します。

<!--配置数据块的冗余度,默认是3-->
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property> 
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop3:50090</value>
</property>
<!-- 配置HDFS的权限检查,默认是true-->
<!--
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>  
-->

HDFS-site.xmlの

(3)修飾コア-site.xmlの
コマンド:

vi core-site.xml

次のように内容を変更します。

<!--配置HDFS的主节点,namenode地址,9000是RPC通信端口-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop2:9000</value>
</property> 
<!--配置HDFS数据块和元数据保存的目录,一定要修改 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.8.4/data/tmp</value>      
</property> 

コア-site.xmlに

(4)(デフォルトは、コピーmapred-site.xml.templateからの遷移に必要ではない)mapred-site.xmlの修飾しました

コマンド:

cp mapred-site.xml.template mapred-site.xml       //从mapred-site.xml.template转化
    
vi mapred-site.xml             //修改mapred-site.xml 文件

次のように内容を変更します。

<!--配置MR程序运行的框架,Yarn-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>      
</property>            

mapred-site.xmlに

(5)糸のsite.xmlを変更します

コマンド:

vi yarn-site.xml 

次のように内容を変更します。

<!--配置Yarn的节点-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop2</value>      
</property>
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>      
</property>

糸-site.xmlに

(6)変性スレーブ

コマンド:

vi slaves

次のように内容を変更します。

hadoop3            //hadoop3作为从节点
hadoop4            //hadoop4作为从节点

奴隷

HDFSの名前ノードフォーマットで4.(注、サーバ再度名前ノードフォーマットノードは、即ち、これはhadoop2でフォーマットされています)

コマンド:

cd /opt/module/hadoop-2.8.4/data/tmp         //这里是step3配置的HDFS数据库和元数据存储目录

hdfs namenode -format                  //格式化

ディスプレイに正常に戻った後、成功を確認します。

Storage: Storage directory /opt/module/hadoop-2.8.4/tmp/dfs/name has been successfully formatted

フォーマットが成功したことを確認し

ノート
リピートクラスタのクラスタを停止してから、tmpフォルダを削除して、再フォーマット、新しいtmpフォルダを再作成してから起動しhadoop.tmp.dir、書式設定

hadoop2のHadoopに構成されたSCPコピーによって5.、別の二つのマシンに送信されました:

コマンド:

//拷贝到hadoop4
scp -r /opt/moudle/hadoop-2.8.4/ root@hadoop3:/opt/moudle/         

//拷贝到hadoop4
scp -r /opt/moudle/hadoop-2.8.4/ root@hadoop4:/opt/moudle/        
6.スタートHadoopクラスタ

(1)開始
入力コマンド

start-all.sh             //hadoop2中启动,因为此机器是主节点

スタート

(2)その開始ベリファイ
hadoop2:
hadoop2
hadoop3:
hadoop3
hadoop4ました:
hadoop4

そして、同じことを計画し、それは完全に分散のHadoopのインストールが成功しています

公開された18元の記事 ウォンの賞賛0 ビュー463

おすすめ

転載: blog.csdn.net/aflyingcat520/article/details/105340508
おすすめ