Instalación de hadoop completamente distribuida (centos7)

Nota: Las instalaciones que no son de VMware se
ejecutan con privilegios de root

1. Modifique el nombre de host

1. Vea el nombre del host: hostname
2. Modifique el nombre del host:hostnamectl set-hostname master

O modificar:/etc/hostname

3. Escriba el nombre de host en / etc / hosts

IP地址 主机名

2. Apague el firewall

1. Verifique el estado del firewall: firewall-cmd --state| system status firewalld
2. Apague el firewall:system stop firewalld

3.ssh

El nodo maestro genera la clave: ssh-keygen -t rsa
ingrese 3 veces
y luego copie la clave a otros nodos

ssh-copy-id master
ssh-copy-id slave

4. Instale jdk

1. Descargue el paquete comprimido jdk
2. Utilice el software de shell para arrastrarlo al host
3. Descomprima el paquete comprimido: tar -zxvf 版本号 -C 指定文件夹
4. Modifique el archivo / etc / profile y agregue:

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin

注意是自己的版本，自己的安装路径

5. Deje que el archivo modificado surta efecto: source /etc/profile
6. Pruebe si la instalación es correcta:java -version

1-6 todos los nodos todos los nodos deben

5. Instale Hadoop

1. Descargue el paquete comprimido hadoop, cárguelo en el host y descomprima el paquete comprimido
2. Modifique también el archivo / etc / profile y agregue:

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

3. Deje que el archivo modificado surta efecto: source /etc/profile
4. Cree un nuevo directorio relacionado con hdfs:

mkdir /home/hdfs
mkdir /home/hdfs/tmp
mkdir /home/hdfs/name
mkdir /home/hdfs/data

Los pasos 1-4 deben ejecutarse en todos los nodos

5. A continuación, modifique la configuración de hadoop:
nombre de archivo:hadoop_env.sh / yarn-env.sh
ruta:hadoop-2.9.2/etc/hadoop/(下同)

export JAVA_HOME=/usr/java/latest 

nombre del archivo:core-site.xml

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/hdfs/tmp</value>
	</property>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://master:9000</value>
	</property>
</configuration>

nombre del archivo:hdfs-site.xml:

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.name.dir</name>
		<value>/home/hdfs/name</value>
	</property>
	<property>
		<name>dfs.data.dir</name>
		<value>/home/hdfs/data</value>
	</property>
</configuration>

nombre del archivo:mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

nombre del archivo:yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
</configuration>

nombre del archivo:slaves

将localhost去掉
添加集群主机：
master
slave1
slave2

将修改了的文件全部发送到从节点：
scp 路径+文件名 @从节点主机名：路径
eg: scp /opt/module/hadoop-2.9.2/etc/hadoop/yarn-site.xml @slave1:/opt/mudule-2.9.2/etc/hadoop/

6. Inicie Hadoop

1. Primero formatee los datos: hadoop namenode -format
2. start-all.sh
3. Ingrese el comando para jpdver: