instalación de Linux cluster y puesta en marcha Hadoop3.1.2 (7) - Configuración de clúster

Capítulo 8: Configuración de clúster

8.1 Configuración de clúster

1. plan de implementación de clúster

	hadoop104	hadoop105	hadoop106
HDFS	NameNode DataNode	DataNode	SecondaryName NodeDataNode
HILO	NodeManager	ResourceManager NodeManager	NodeManager

3. Configurar un clúster
   archivo de configuración (1) de núcleo
   a núcleo configure-site.xml

[zhangyong@hadoop104 hadoop]$ vi core-site.xml

Escriba lo siguiente en el archivo de configuración

<!-- 指定HDFS中NameNode的地址 -->
<property>
	 <name>fs.defaultFS</name>
     <value>hdfs://hadoop104:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-3.1.2/data/tmp</value>
</property>

（2）HDFS配置文件

hadoop-env.sh configuración

[zhangyong@hadoop104 hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_181

Configuración hdfs-site.xml

[zhangyong@hadoop104 hadoop]$ vi hdfs-site.xml

Escriba lo siguiente en el archivo de configuración

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop106:50090</value>
</property>

(3) los hilados de perfil
yarn-env.sh configuración

[zhangyong@hadoop104 hadoop]$ vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_181

Situado hilo site.xml

[zhangyong@hadoop104 hadoop]$ vi yarn-site.xml

Aumentar sigue el archivo

<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop105</value>
</property>

(4) MapReduce perfil
mapred-env.sh configuración

[zhangyong@hadoop104 hadoop]$ vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_181

Colocado-site.xml mapred

[zhangyong@hadoop104 hadoop]$ vi mapred-site.xml

Aumentar sigue el archivo

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

3. Buena distribución en el fichero de configuración Hadoop configuración de clúster

[zhangyong@hadoop104 hadoop]$ xsync etc/

4. Compruebe el estado de la documentación

[zhangyong@hadoop103 hadoop]$ cat /opt/module/hadoop-3.1.2/etc/hadoop/core-site.xml

Cluster 8.2 inicio de un solo punto

(1) Si el clúster es la primera vez que se inicia, es necesario formatear NameNode

[zhangyong@hadoop104 hadoop-3.1.2]$ hdfs namenode -format

(2) Inicio NameNode en hadoop102

[zhangyong@hadoop104 hadoop-3.1.2]$ hadoop-daemon.sh start namenode
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
3461 NameNode

(3) en cada hadoop104 DataNode inicio, hadoop105 y hadoop106

[zhangyong@hadoop104 hadoop-3.1.2]$ hadoop-daemon.sh start datanode
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[zhangyong@hadoop105 hadoop-3.1.2]$ hadoop-daemon.sh start datanode
[zhangyong@hadoop105 hadoop-3.1.2]$ jps
3190 DataNode
3279 Jps
[zhangyong@hadoop106 hadoop-3.1.2]$ hadoop-daemon.sh start datanode
[zhangyong@hhadoop106 hadoop-3.1.2]$ jps
3237 Jps
3163 DataNode

http: // hadoop104: 9870 / dfshealth.html # tabuladores DataNode añadir un guión enlazador
para acceder a la siguiente descripción éxito

pensamiento: cada vez que se inicia un nodo, si el número de nodos aumentó a 1000 cómo hacerlo? El siguiente capítulo respuestas