バックグラウンド
CentOS7でのHadoop2.5.0のインストールとデプロイのプロセスを記録します
ステップ
1.新しいcdhフォルダーを作成し、hadoop圧縮パッケージをcdhフォルダーに解凍します
#mkdir cdh
#tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz -C cdh2.hadoop解凍ディレクトリの下のetc / hadoopディレクトリに切り替え、hadoop-env.sh、mapred-env.sh、mapred-site.xml.template、hdfs-site.xml、yarn-site.xml、coreを変更します。 -site.xmlとスレーブの7つのファイル。
両方の環境は、部屋のファイルのJAVA_HOMEのみを変更できます（私のCentOSのjava1.8は/ home / szc / jdk8_64ディレクトリにインストールされているため、JAVA_HOMEは/ home / szc / jdk8_64に設定されます）
export JAVA_HOME=/home/szc/jdk8_64mapred-site.xml.templateファイルを次のように変更した後、名前をmapred-site.xmlファイルに変更します。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.57.141:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.57.141:19888</value>
</property>
</configuration>hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.57.141:50091</value>
</property>
</configuration>糸-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resoucemanager.hostname</name>
<value>192.168.57.141</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>core-site.xml、最後の2つの属性のszcは独自のユーザー名に置き換えられ、hadoop.tmp.dirに対応するディレクトリも自分で作成する必要があることに注意してください
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.57.141:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/szc/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.szc.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.szc.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property
</configuration>奴隷
192.168.57.141上記のすべてのIPは、centosのネイティブIPです。
3.hdfsをフォーマットします
hadoop解凍ディレクトリのbinディレクトリに切り替えて、コマンドを実行します
#hdfs namenode -format完成後のスクリーンショットは以下の通りです
4.対応するプロセスを開始します
hadoop解凍ディレクトリのsbinディレクトリに切り替え、start-dfs.sh、start-yarn.shを実行してhdfsとyarnを起動し、次のコマンドを実行してhistoryserverを起動します。
./mr-jobhistory-daemon.sh start historyserver
5.クラスターのUIインターフェースを表示するWindowsブラウザー
最初にポート50070を開きます
[root@localhost sbin]# firewall-cmd --add-port=50070/tcp --permanent
success
[root@localhost sbin]# firewall-cmd --reload
success次に、Windowsブラウザにcentos ip：50070と入力すると、Enterキーを押すと次のインターフェイスが表示されます。
これまでのところ、Hadoopのデプロイは完了しています
結論
上記、ありがとう