instalación del clúster hdfs

1. Instalación hadoop Subir, extracto de configurar las variables de entorno

vi /etc/profile

export JAVA_HOME=/root/apps/jdk1.8.0_60

export HADOOP_HOME=/root/apps/hadoop-2.8.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2. modificar el fichero de configuración

para punto mención espectáculo

parámetros de configuración de núcleo: Hadoop especifica el sistema de archivos por defecto: hdfs Los nodos hdfs NameNode designadas que la máquina NameNode software especificado para almacenar metadatos de un directorio local DataNode software especificado de bloques de archivo almacén de directorios locales

hadoop archivo de configuración: / directorio / root / aplicaciones hadoop instalación / etc / hadoop /

1) Modificar hadoop-env.sh

export JAVA_HOME = / root / aplicaciones / jdk1.8.0_60

2) de núcleo-site.xml modificado

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hdp-01:9000</value>

</property>

</configuration>

3) Modificar hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hdpdata/name/</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hdpdata/data</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hdp-02:50090</value>
</property>

</configuration>

4) copiar todo el directorio a otra máquina instalada hadoop

scp -r / root / aplicaciones / hadoop- 2.8.1   HDP-02: root / / aplicaciones /

5) Inicio HDFS

En primer lugar, inicializar el catálogo de metadatos NameNode

Para ejecutar un comando en hadoop HDP-01 para inicializar directorio de almacenamiento de metadatos NameNode

Hadoop -format NameNode

1. Crear un nuevo directorio de repositorio de metadatos
2. Generación de un archivo de metadatos grabados fsimage
3. Creación de un clúster de la identidad relacionada: tales como: Identificación del clúster - ClusterID

A continuación, iniciar el proceso de NameNode (en HDP-01)

NameNode inicio hadoop-daemon.sh

Tras la salida, primero con JPS mirar NameNode el proceso existe

Luego, en las ventanas utilizando un navegador para acceder a páginas web ofrecen el puerto NameNode: 50070

http: // HDP-01: 50070

Entonces, comienzan a toda la DataNode (en cualquier lugar)

DataNode inicio hadoop-daemon.sh

Automático de arranque de comandos por lotes para iniciar HDFS

1. HDP-01 para configurar todas las máquinas en el clúster (incluido yo mismo) sin densa de aterrizaje
2. Después de ligando libre densidad, se puede realizar una vez   ssh 0.0.0.0
3. directorio de instalación Modificar hadoop / etc / hadoop / esclavos (nodos necesitan para iniciar el proceso de DataNode incluido)

hdp-01 hdp-02 hdp-03 hdp-04

1. Con un guión en el 01-HDP: start-dfs.sh para iniciar automáticamente todo el clúster
2. Si desea detener, a continuación, utilizar la secuencia de comandos: stop-dfs.sh

Nota: Configurar un aterrizaje secreto, libre

1.ssh-keygen

2, ssh-copy-id HDP-04 (dominio denso libre de acogida)