instalación de Linux cluster y puesta en marcha Hadoop3.1.2 (8) - SSH sin necesidad de configuración de inicio de sesión secreta

Capítulo IX: SSH sin necesidad de configuración de inicio de sesión secreta

la configuración de inicio de sesión no es un secreto 9.1SSH

1. ssh configuración
   (. 1) La sintaxis básica
   dirección ip ssh de otro equipo
   de verificación de clave de host falló soluciones cuando la conexión ssh (2)

[zhangyong@hadoop104 opt] $ ssh 192.168.153.105
The authenticity of host '192.168.1.105 (192.168.1.105)' can't be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)? 
Host key verification failed.

(3) Solución de la siguiente manera: Entrada directa Sí
2. No configuración de teclas
principio de registro (1) Densidad Libre;

(2) para generar las claves públicas y privadas:

[zhangyong@hadoop104 .ssh]$ ssh-keygen -t rsa

A continuación, pulse (retorno de carro de tres), que genera dos archivos id_rsa (clave privada), id_rsa.pub (clave pública)
(3) copias de la clave pública a la máquina de destino para evitar densa registro

[zhangyong@hadoop104 .ssh]$ ssh-copy-id hadoop104
[zhangyong@hadoop104 .ssh]$ ssh-copy-id hadoop105
[zhangyong@hadoop104 .ssh]$ ssh-copy-id hadoop106

Nota:
también necesitan ser adoptados hadoop104 cuenta raíz, de configuración que hay registro en secreto a hadoop104, hadoop105, hadoop106;
también necesitan zhangyong cuenta configurada en hadoop103 ningún secreto acerca de inicio de sesión a hadoop104, hadoop105, en hadoop106 servidor.
3. carpeta .ssh (~ / .ssh) función de la interpretación de archivos

known_hosts	registros públicos ssh acceder a la computadora (clave pública)
id_rsa	clave privada generada
id_rsa.pub	clave pública generada
authorized_keys	autorización tienda bonita clave pública de ningún servidor de inicio de sesión secreta

Cluster 9.2 se recuperó

1. esclavos de configuración

/opt/module/hadoop-3.1.2/etc/hadoop/slaves
[zhangyong@hadoop102 hadoop]$ vi slaves

Agregue la siguiente en el archivo:

hadoop104
hadoop105
hadoop106

Nota: No permita que el final de los contenidos del archivo, añadir los espacios, las líneas vacías no están permitidos en el archivo.
Sincronizar todos los archivos de configuración de nodos

[zhangyong@hadoop104 hadoop]$ xsync slaves

2. Iniciar el clúster
   (1) Si el clúster es la primera vez que se inicia, es necesario formatear NameNode (Nota Antes de formatear, asegúrese de pasar toda NameNode y DataNode última inicio del proceso, y luego borrar los datos y los datos de registro)

[zhangyong@hadoop104 hadoop-3.1.2]$ bin/hdfs namenode -format

(2) Inicio HDFS

[zhangyong@hadoop104 hadoop-3.1.2]$ sbin/start-dfs.sh
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
3218 DataNode
3288 Jps
[zhangyong@hadoop104 hadoop-3.1.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

(3) Start HILO

[zhangyong@hadoop105 hadoop-3.1.2]$ sbin/start-yarn.sh

Nota: NameNode y ResourceManger si no es la misma máquina no puede comenzar hilo en NameNode, deben comenzar en el hilado de la máquina situada ResouceManager.
(4) Web vista de extremo SecondaryNameNode
(A) introducido en el navegador: http: // hadoop106: 50090 / Status.html
. (B) Vista SecondaryNameNode información

3. pruebas básicas en Racimo
(1) para cargar archivos en el grupo de
pequeños archivos de subida

[zhangyong@hadoop104 hadoop-3.1.2]$ hdfs dfs -mkdir -p /user/zhangyong/input
[zhangyong@hadoop104 hadoop-3.1.2]$ hdfs dfs -put wcinput/wc.input /user/zhangyong/input

  上传大文件

[zhangyong@hadoop104 hadoop-3.1.2]$ bin/hadoop fs -put
 /opt/software/hadoop-3.1.2.tar.gz  /user/zhangyong/input

9.3 Resumen de clúster modo de arranque / parada

1. Individualmente cada servicio componente de arranque / parada
   (1), respectivamente, inicio / parada de montaje HDFS

hadoop-daemon.sh  start/stop namenode/datanode/secondarynamenode

(2) Start / Stop HILO

yarn-daemon.sh  start/stop  resourcemanager/nodemanager

3. Cada módulo de inicio / parada (configuración ssh es una condición previa) utilizados por separado
   (1) las start enteras / HDFS de parada

start-dfs.sh  启动 
stop-dfs.sh   停止

(2) el principio general / HILO parada

start-yarn.sh    启动
stop-yarn.sh     停止

(3) inicio la historia global / parada

mr-jobhistory-daemon.sh start historyserver    启动
mr-jobhistory-daemon.sh stop historyserver    停止