13.Construcción del clúster hadoop

################ Modificar permisos de directorio ##################
[root @ vwmaster hadoop] #

################ JDK ###################
[root @ vwmaster hadoop260] # vi etc / hadoop / hadoop -env.sh
exportar JAVA_HOME = / opt / bigdata / java / jdk180

################ sistema de archivos hadoop fs ###################
# ---- Establecer la IP durante el clúster configuración
Cambiar a nombre de host ---- # [root @ vwmaster hadoop260] # vi etc / hadoop / core-site.xml


fs.defaultFS
hdfs: // vwmaster: 9000


hadoop.tmp.dir
/ opt / bigdata / hadoop / hadoop260


hadoop .proxyuser.root.hosts



hadoop.proxyuser.root.groups

################ copia de seguridad de réplicas de hadoop ##################
# ---- dfs.replication backup number change
Add lista blanca de nodos para 2 ---- # # ---- dfs.hosts ---- #
[root @ vwmaster hadoop] # pwd
/ opt / bigdata / hadoop

[root @ vwmaster hadoop] # mkdir hdfs
[root @ vwmaster hadoop] # ls
hadoop260 hdfs

[root @ vwmaster hadoop] # cd hdfs /
[root @ vwmaster hdfs] # mkdir namenode datanode
[root @ vwmaster hdfs] # ls
datanode namenode

[root @ vwmaster hadoop260] # vi etc / hadoop / hdfs-site.xml


dfs.replication
2


dfs.permissions
false

################ marco de cálculo hadoop mapreduce ###################
# ---- mapreduce.jobhistory.address Agregar puerto de acceso al historial de trabajos ---- #
# ---- mapreduce.jobhistory.webapp.address Agregar puerto de acceso web al historial de trabajos ---- #
[root @ vwmaster hadoop260] # cp etc / hadoop / mapred-site.xml.template etc / hadoop / mapred-site.xml
[root @ vwmaster hadoop260] # vi etc / hadoop / mapred-site.xml


mapreduce.framework.name
hilo

################ programación de gestión de hilo hadoop ###################
# ---- yarn.log-aggregation .retain-seconds Agregue el tiempo de retención del registro de hilo a 7 días (en segundos) ---- #
# ---- yarn.nodemanager.aux-services.mapreduce.shuffle.class Agregue el tipo específico de cálculo de mezcla especificado ---- #
# ---- yarn.resourcemanager.hostname agregar yarn nombre de host ---- #
[root @ vwmaster hadoop260] # vi etc / hadoop / yarn-site.xml


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.hostname
vwmaster

################ hadoop esclavos nombre de host ##################

Nota: los esclavos de hadoop 3.0 y superiores se denominan trabajadores

# ---- Agregar todos los nombres de host de nodo vwmaster: yarn.resourcemanager ---- #
# ---- Agregar todos los nombres de host de nodo vwjob: mapreduce.jobhistory ---- #
# ---- Agregar todos los nombres de host de nodo vwslave01 / 02: nodo de datos ---- #
[root @ vwmaster hadoop260] # vi etc / hadoop / slaves
vwslave01
vwslave02
vwslave03

################ hadoop 环境 变量 ###################
[root @ vwmaster hadoop260] # vi / etc /
exportar perfil JAVA_HOME = / opt / bigdata / java / jdk180
export TOMCAT_HOME = / opt / bigdata / java / tomcat85
export NODE_HOME = / opt / bigdata / elk / node891

exportar HADOOP_HOME = / opt / bigdata / hadoop / hadoop260
exportar HADOOP_MAPRED_HOME = $HADOO{P}_{H}OMEexportHADOO{P}_{C}OMMO{N}_{H}OME=$ HADOOP_HOME
exportar HADOOP_HDFS_HOME =$HADOO{P}_{H}OMEexportYAR{N}_{H}OME=$ HADOOP_HOME
exportar HADOOP_COMMON_LIB_NATIVE_DIR =$HADOO{P}_{H}OME/lib/nativeexportHADOO{P}_{los}PTS="-Djava.library.path=$ HADOOP_HOME / lib "

export PATH = $HADOO{P}_{H}OME/bin:$ HADOOP_HOME / sbin:$NOD{E}_{H}OME/bin:$ JAVA_HOME / bin:$TOMCA{T}_{H}OME/bin:$ PATH
export CLASSPATH = .:$JAV{A}_{H}OME/lib/dt.jar:$ JAVA_HOME / lib / tools.jar

[root @ vwmaster hadoop260] # fuente / etc / profile

############### formato hadoop HDFS ##################
[root @ vwmaster hadoop260] # cd bin
[root @ vwmaster bin] # hdfs namenode -format
## Ver la siguiente información muestra que el formato es exitoso
/ **************************** * ******************************
SHUTDOWN_MSG: Apagando NameNode en vwmaster / 20.0.0.100
******** * ********************************************** * * /
## Si el formateo falla: debe verificar la configuración anterior

################ hadoop-native 库 ###################
[root @ vwmaster bin] # cd / opt / install / hadoop
[root @ vwmaster hadoop] # tar -xf hadoop-native-64-2.6.0.tar -C / opt / bigdata / hadoop / hadoop260 / lib / native /

################ 启动 hadoop ###################
[root @ vwmaster hadoop] # cd / opt / bigdata / hadoop / hadoop260 / bin
[root @ vwmaster bin] # start-dfs.sh
[root @ vwmaster bin] # start-yarn.sh
[root @ vwmaster bin] # stop-all.sh

################ Iniciar o cerrar hadoop requiere una solución de contraseña #####################
[root @ vwmaster bin] # cd ~
[root @ vwmaster ~] # cd .ssh /
[root @ vwmaster .ssh] # ls
claves_autorizadas id_rsa id_rsa.pub hosts_conocidos
[root @ vwmaster .ssh] # cat id_rsa.pub >> claves_autorizadas
[root @ vwmaster .ssh] # ssh localhost

################ 启动 historial de trabajos ###################
[root @ vwmaster bin] # cd… / sbin /
[root @ vwmaster sbin] # jps
[root @ vwmaster sbin] # ./mr-jobhistory-daemon.sh iniciar historyserver

############### Ver el estado del servicio de hadoop ##################
[root @ vwmaster sbin] # jps
6800 NodeManager
7329 Jps
6387 DataNode
6548 SecondaryNameNode
6264 NameNode
6697 ResourceManager
7259 JobHistoryServer

http://20.0.0.100: 50070 8088 19888