Hadoop2.7.7 totalmente distribuida

Modificar la dirección IP

cd /etc/sysconfig/network-scripts
vi 第一个文件名或者有字母数字的文件名

Modificar la configuración

BOOTPROTO=”static”  #静态获取IP地址
ONBOOT=“yes”   #开机使用本配置
IPADDR=      #IP地址
NETMASK=255.255.255.0 # 网络子掩码
GATEWAY=   #网关
DNS1= 114.114.114.114  #DNS配置

Reiniciar servicio de red

service network restart

Modificar la asignación entre los nombres de host IP hacer

vi  /etc/hosts

IP es la dirección IP de los tres de la máquina y el nombre de host a ser modificado en la misma red de área local
dos copias de la siguiente pasada a la otra máquina virtual dos y reinicio (dirección IP por debajo de la configuración de funcionamiento real)
172.16.201.10 Maestro
172.16.201.11 esclavo1
172,16. 201.12 esclavo2
En el respectivo nombre de host modificar el nombre de host

vi /etc/hostname
master

Reiniciar la máquina virtual

reboot

Operación libre densas
tres máquinas virtuales que funcionan de acuerdo a la siguiente clave pública
y la clave pública se colocan en un tres authorzied_keys aprobadas en los otros dos tienen su propio garantizada entre los tres pública
genera una clave pública

ssh-keygen 

Se añade a un nodo

ssh-copy-id -i .ssh/id_rsa.pub root@wangmaste

# Prueba si el éxito secreto, libre

ssh localhost

Probar la conexión con otras máquinas virtuales

ssh 主机名

Instalar JDK
opinión sobre si la máquina tiene JDK

rpm  -qa|grep jdk

JDK desinstalación

 yum remove jdk文件名

buena JDK Descomprimir, hadoop

tar xf  jdk名  hadoop文件名  -C  安装路径

Conjunto JDK, el medio ambiente hadoop variables

#jdk
export  JAVA_HOME=/opt/jdk #jdk安装路径
#hadoop
export  HADOOP_HOME=/opt/Hadoop  #hadoop安装路径
PATH=$PATH:$JAVA_HOME/bin$HADOOP_HOME/bin:$HADOOP_HOME/sbin

El archivo de configuración tenga efecto

source  /etc/profile

Introduzca fichero de configuración hadoop

cd /opt/hadoop/etc/Hadoop

Modificar el archivo hadoop-env.sh

vi hadoop-env.sh

Buscar un entorno de ajuste variables de JDK declaración de modificar la ruta de instalación de JDK

export JAVA_HOME=/opt/jdk

Modificar el archivo yarn-env.sh

vi yarn-env.sh

Buscar un entorno de ajuste variables de JDK declaración de modificar la ruta de instalación de JDK

export JAVA_HOME=/opt/jdk

archivo de núcleo-site.xml Modificado

vi  core-site.xml
<property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
</property>
<property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/hadoop/tmp</value>
</property>

archivo hdfs-site.xml Modificar

vi hdfs-site.xml
<property>
         <name>dfs.replication</name>
         <value>1</value>
</property>
<property>
           <name>dfs.namenode.secondary.http-address</name>
           <value>master:50090</value>
</property>

Modificar mapred-site.xml archivo de
copia de archivos site.xml.template mapred y modificar el nombre del archivo mapred-site.xml

cp mapred-site.xml.template  mapred-site.xml
vi mapred-site.xml   
   <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
   </property>

archivo de hilo site.xml Modificar

vi yarn-site.xml     
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapredue_shuffle</value>
   </property>
   <propety>
      <name>yarn.resourcemanager.hostname</name>
      <value>master</value>
   </property>

Modificar archivo de esclavos

vi slaves

# Añadir dos nodos esclavos

slave1   #从节点的主机名
slave2   #从节点的主机名

Desactivar el firewall

systemctl stop firewalld.service

Prohibición arrancar Firewall

systemctl  disable firewalld.service

Copiar todo el archivo se pasa a otra máquina virtual hadoop
scp -r hadoop carpeta de la ruta a un nombre de host diferente @root: ruta / almacenamiento
formateado en una máquina virtual maestro

hdfs namenode   -format

Inicio hadoop

start-all.sh

Ver el proceso de

jps

nodo maestro maste tiene cuatro procesos
hay tres procesos en otras máquinas virtuales de nodo

Hadoop conseguir dicho proceso requiere una completa configuración totalmente distribuida!

Publicado 39 artículos originales · alabanza ganado 13 · vistas 2312

Supongo que te gusta

Origin blog.csdn.net/qq_43205282/article/details/103433722
Recomendado
Clasificación