12. Construcción pseudodistribuida de Hadoop en Linux

Prefacio:

Mi nivel de directorio, hay dos carpetas bajo opt, una es la dirección de instalación, la otra es el archivo original, también creé elk (poner archivos relacionados con elksearch), hadoop (poner archivos relacionados con hadoop), Java (poner jdk y tomcat)


1. Primero transfiera los archivos hadoop-native-64-2.6.0.tar y hadoop-2.6.0-cdh5.14.2.tar.gz a través de xftp a / opt / indtall / hadoop

2. hadoop-2.6.0-cdh5. 14.2.tar.gz descomprimir en / opt / bigdata / hadoop

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz  -C /opt/bigdata/hadoop

3. Vaya a / opt / bigdata / hadoop y cambie el nombre del archivo descomprimido a hadoop260

mv  (解压完的名称)  hadoop260

4. Modificar los permisos del directorio

[root@vbserver hadoop]# chown -R root:root hadoop260/

5. Asociado jdk

[root@vbserver hadoop260]# vi etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/bigdata/java/jdk180

6.sistema de archivos hadoop fs

[root@vbserver hadoop260]# vi etc/hadoop/core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://(虚拟机ip):9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/bigdata/hadoop/hadoop260</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
</configuration>

7. copia de seguridad de réplicas de hadoop

[root@vbserver hadoop]# pwd
/opt/bigdata/hadoop

[root@vbserver hadoop]# mkdir hdfs
[root@vbserver hadoop]# ls
hadoop260  hdfs

[root@vbserver hadoop]# cd hdfs/
[root@vbserver hdfs]# mkdir namenode datanode
[root@vbserver hdfs]# ls
datanode  namenode

[root@vbserver hadoop260]# vi etc/hadoop/hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.dir</name>
    <value>/opt/bigdata/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.dir</name>
    <value>/opt/bigdata/hadoop/hdfs/datanode</value>
  </property>
</configuration>

8.hadoop mapreduce marco informático

[root@vbserver hadoop260]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
[root@vbserver hadoop260]# vi etc/hadoop/mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

9. programación de la gestión del hilo de hadoop

[root@vbserver hadoop260]# vi etc/hadoop/yarn-site.xml
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
  </property>
</configuration>

10. nombre de host de esclavos hadoop

[root@vbserver hadoop260]# vi etc/hadoop/slaves
vbserver(当前虚拟机的hostname我的是vbserver)

11.variables de entorno de hadoop

[root@vbserver hadoop260]# vi /etc/profile
export JAVA_HOME=/opt/bigdata/java/jdk180
export TOMCAT_HOME=/opt/bigdata/java/tomcat85
export NODE_HOME=/opt/bigdata/elk/node891

export HADOOP_HOME=/opt/bigdata/hadoop/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$NODE_HOME/bin:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[root@vbserver hadoop260]# source /etc/profile

12.formato de hadoop HDFS

[root@vbserver hadoop260]# cd bin
[root@vbserver bin]# hdfs namenode -format

(Consulte la siguiente información para indicar el éxito)

13.hadoop-native library

[root@vbserver bin]# cd /opt/install/hadoop
[root@vbserver hadoop]# tar -xf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop260/lib/native/

14. Inicie hadoop

[root@vbserver hadoop]# cd /opt/bigdata/hadoop/hadoop260/bin
[root@vbserver bin]# start-all.sh
[root@vbserver bin]# stop-all.sh

15. La solución a la contraseña requerida para iniciar o cerrar hadoop

[root@vbserver bin]# cd ~
[root@vbserver ~]# cd .ssh/
[root@vbserver .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@vbserver .ssh]# cat id_rsa.pub >> authorized_keys 
[root@vbserver .ssh]# ssh localhost

16. Iniciar historial de trabajos

[root@vbserver bin]# cd ../sbin/
[root@vbserver sbin]# jps
[root@vbserver sbin]# ./mr-jobhistory-daemon.sh start historyserver

17. Ver el estado del servicio de hadoop

[root@vbserver sbin]# jps
6800 NodeManager
7329 Jps
6387 DataNode
6548 SecondaryNameNode
6264 NameNode
6697 ResourceManager
7259 JobHistoryServer

18.http: //192.168.6.200: 8088 /

19.http: //192.168.6.200: 50070 /

20.http: //192.168.6.200: 19888 /