1.Hadoopのインストールの準備:
(1)インストールしたLinuxオペレーティングシステム
(2)ファイアウォールをオフにする
(3)Linux上でJDKをインストールします
(4)hadoop2、hadoop3、hadoop4 3つのサーバーがされている一連の自由すぎて、緻密着陸
アーカイブとのconfigureのHadoop環境変数を抽出2
(1)インストールパッケージHadoopのコピーしたの/ opt /ソフトウェアファイルディレクトリ
は/ opt /モジュールのディレクトリへ(2)インストールパッケージHadoopのエキス
コマンド:
tar -zxvf hadoop-2.8.4.tar.gz -C /opt/module //将hadoop-2.8.4.tar.gz解压到/opt/module目录下
(3)設定環境変数変更環境変数の設定ファイルコマンドを変更します。
vi ~/.bash_profile //修改环境变量的文件
次のように追加する内容は次のとおりです。
HADOOP_HOME=/opt/module/hadoop-2.8.4
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
B環境変数は、
次のコマンドを入力します。
source ~/.bash_profile
設定ファイルを変更します。3.
(1)hadoop-env.sh変更
コマンドを:
vi hadoop-env.sh //修改hadoop-env.sh文件
次のように内容を変更します。
export JAVA_HOME=/opt/module/jdk1.8.0_144 //修改JAVAHOME地址,改为自己建的jdk地址,应该在25行
(2)修正HDFS-site.xmlの
コマンド:
cd /opt/module/hadoop-2.8.4/etc/hadoop //进入etc/hadoop目录
vi hdfs-site.xml // 修改hdfs-site.xml文件
次のように内容を変更します。
<!--配置数据块的冗余度,默认是3-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop3:50090</value>
</property>
<!-- 配置HDFS的权限检查,默认是true-->
<!--
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
-->
(3)修飾コア-site.xmlの
コマンド:
vi core-site.xml
次のように内容を変更します。
<!--配置HDFS的主节点,namenode地址,9000是RPC通信端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop2:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录,一定要修改 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.8.4/data/tmp</value>
</property>
(4)(デフォルトは、コピーmapred-site.xml.templateからの遷移に必要ではない)mapred-site.xmlの修飾しました
コマンド:
cp mapred-site.xml.template mapred-site.xml //从mapred-site.xml.template转化
vi mapred-site.xml //修改mapred-site.xml 文件
次のように内容を変更します。
<!--配置MR程序运行的框架,Yarn-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(5)糸のsite.xmlを変更します
コマンド:
vi yarn-site.xml
次のように内容を変更します。
<!--配置Yarn的节点-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop2</value>
</property>
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
(6)変性スレーブ
コマンド:
vi slaves
次のように内容を変更します。
hadoop3 //hadoop3作为从节点
hadoop4 //hadoop4作为从节点
HDFSの名前ノードフォーマットで4.(注、サーバ再度名前ノードフォーマットノードは、即ち、これはhadoop2でフォーマットされています)
コマンド:
cd /opt/module/hadoop-2.8.4/data/tmp //这里是step3配置的HDFS数据库和元数据存储目录
hdfs namenode -format //格式化
ディスプレイに正常に戻った後、成功を確認します。
Storage: Storage directory /opt/module/hadoop-2.8.4/tmp/dfs/name has been successfully formatted
ノート
リピートクラスタのクラスタを停止してから、tmpフォルダを削除して、再フォーマット、新しいtmpフォルダを再作成してから起動しhadoop.tmp.dir、書式設定
hadoop2のHadoopに構成されたSCPコピーによって5.、別の二つのマシンに送信されました:
コマンド:
//拷贝到hadoop4
scp -r /opt/moudle/hadoop-2.8.4/ root@hadoop3:/opt/moudle/
//拷贝到hadoop4
scp -r /opt/moudle/hadoop-2.8.4/ root@hadoop4:/opt/moudle/
6.スタートHadoopクラスタ
(1)開始
入力コマンド
start-all.sh //hadoop2中启动,因为此机器是主节点
(2)その開始ベリファイ
hadoop2:
hadoop3:
hadoop4ました:
そして、同じことを計画し、それは完全に分散のHadoopのインストールが成功しています