Big Data aprendendo base conjunto distribuído (1) construção -Hadoop HDFS e uso

Ambiente: Um Estudo de Caso com CentOS6.5 (3 nós)

• Fechar e fechar o firewall desde o início
• conjunto selinux para perto
• Definir o nome do host
• Configurando anfitrião jdk1.7 mapeamento
• livre de ssh pouso secreto
• hadoop-2.5.2

pronto

hadoop descompressão, e criado no diretório raiz do Hadoop data / tmp diretório

Modificar o arquivo de configuração

* Localização do arquivo de configuração: etc / diretório Hadoop O Hadoop em
hadoop-env.sh

    export JAVA_HOME=/usr/java/jdk1.7.0_71    #jdk路径

núcleo-site.xml

 <!--  用于设置namenode并且作为Java程序的访问入口  --->
 <!--  hadoop1.msk.com 为主机名  -->
        <property>		
             <name>fs.defaultFS</name>
             <value>hdfs://hadoop1.msk.com:8020</value>
        </property>
       <!--  存储NameNode持久化的数据，DataNode块数据  -->
       <!--  手工创建$HADOOP_HOME/data/tmp  -->
        <property>
	         <name>hadoop.tmp.dir</name>
	         <value>/opt/install/hadoop-2.5.2/data/tmp</value>
         </property>

hdfs-site.xml

 <!--  设置副本数量 默认是3 可自行根据需求更改  -->
        <property>		
            <name>dfs.replication</name>
            <value>3</value>
        </property>
<!--  权限，可省略  -->
         <property>
             <name>dfs.permissions.enabled</name>
             <value>false</value>
          </property>

mapred-site.xml

<!--  yarn 与 MapReduce相关  -->
       <property>	 	        		
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
       </property>

fios-site.xml

 <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
  </property>

escravos
configurado aqui DataNode nome da máquina é limitada, há também um nó 1 é o DataNode NameNode

hadoop1.msk.com
hadoop2.msk.com
hadoop3.msk.com

formato NameNode

Função objetivo: HDFS formato do sistema e gera blocos de dados armazenados no diretório

   bin/hdfs namenode -format 

Iniciar | parar de correr NameNode Hadoop [nó]

   sbin/start-dfs.sh
   sbin/stop-dfs.sh

Eu quero testar se o comando de um início bem sucedido JPS para ver o processo disponível

Acesso HDFS shell

1. Verifique a estrutura de diretório

	bin/hdfs dfs -ls 路径

2. Crie uma pasta

    bin/hdfs dfs -mkdir /a
    bin/hdfs dfs -mkdir -p /a/b

3. Upload de arquivos para os hdfs locais

    bin/hdfs dfs -put local_path hdfs_path

4. Ver o conteúdo do arquivo

   bin/hdfs dfs -text /a/c
   bin/hdfs dfs -cat /a/c

5. Excluir

    bin/hdfs dfs -rm /a/c

6. pastas de exclusão não vazios

    bin/hdfs dfs -rmr /a

7. De HDFS download de arquivos para locais

    bin/hdfs dfs -get hdfs_path local_path

acesso navegador HDFC

http://hadoop1.msk.com:50070 acesso HDFS
http://hadoop1.msk.com:8088 fio de acesso