Big Data aprendizaje (1) construcción -Hadoop HDFS base clúster distribuido y el uso

Medio Ambiente: Un estudio de caso con CentOS6.5 (3 nodos)

• Cerrar y cerca del cortafuegos desde el principio
• establecer SELinux en estrecha
• Establecer el nombre de host
• Configuración de la asignación de host jdk1.7
• -Ssh libre de aterrizaje secreta
• hadoop-2.5.2

listo

hadoop de descompresión, y crea en el directorio raíz de Hadoop de datos / tmp directorio

Modificar el archivo de configuración

* Configuración de la ubicación del archivo: etc / Hadoop Hadoop en
hadoop-env.sh

    export JAVA_HOME=/usr/java/jdk1.7.0_71    #jdk路径

core-site.xml

 <!--  用于设置namenode并且作为Java程序的访问入口  --->
 <!--  hadoop1.msk.com 为主机名  -->
        <property>		
             <name>fs.defaultFS</name>
             <value>hdfs://hadoop1.msk.com:8020</value>
        </property>
       <!--  存储NameNode持久化的数据，DataNode块数据  -->
       <!--  手工创建$HADOOP_HOME/data/tmp  -->
        <property>
	         <name>hadoop.tmp.dir</name>
	         <value>/opt/install/hadoop-2.5.2/data/tmp</value>
         </property>

hdfs-site.xml

 <!--  设置副本数量 默认是3 可自行根据需求更改  -->
        <property>		
            <name>dfs.replication</name>
            <value>3</value>
        </property>
<!--  权限，可省略  -->
         <property>
             <name>dfs.permissions.enabled</name>
             <value>false</value>
          </property>

mapred-site.xml

<!--  yarn 与 MapReduce相关  -->
       <property>	 	        		
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
       </property>

hilo-site.xml

 <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
  </property>

esclavos
configurados aquí DataNode nombre de host de la máquina se limita, también hay un nodo 1 es el DataNode NameNode

hadoop1.msk.com
hadoop2.msk.com
hadoop3.msk.com

formato NameNode

Función objetivo: hdfs formato del sistema, y ​​genera bloques de datos almacenados en el directorio

   bin/hdfs namenode -format 

Inicio | dejar de correr NameNode hadoop [nodo]

   sbin/start-dfs.sh
   sbin/stop-dfs.sh

Quiero probar si un comando de arranque exitoso JPS para ver el proceso de disposición

acceso HDFS shell

1. Compruebe la estructura de directorios

	bin/hdfs dfs -ls 路径

2. Crear una carpeta

    bin/hdfs dfs -mkdir /a
    bin/hdfs dfs -mkdir -p /a/b

3. Subir archivos a los locales hdfs

    bin/hdfs dfs -put local_path hdfs_path

4. Ver el contenido del archivo

   bin/hdfs dfs -text /a/c
   bin/hdfs dfs -cat /a/c

5. Eliminar

    bin/hdfs dfs -rm /a/c

6. Eliminar carpetas no vacías

    bin/hdfs dfs -rmr /a

7. De HDFS descargar archivos a locales

    bin/hdfs dfs -get hdfs_path local_path

el acceso del navegador HDFC

http://hadoop1.msk.com:50070 acceso HDFS
http://hadoop1.msk.com:8088 hilo acceso