ビッグデータ学習（1）ビルド-Hadoop HDFS分散クラスタの基礎と使用

環境：CentOS6.5でAケーススタディ（3節）

• 最初から閉じると密接なファイアウォール
• 近くにSELinuxのセット
• ホスト名を設定します。
• ホストマッピングjdk1.7を設定します
• sshのフリー秘密の着陸
• Hadoopの-2.5.2

レディ

解凍のHadoop、およびルートディレクトリのHadoopで作成したデータの/ tmpディレクトリ

設定ファイルを変更します。

*設定ファイルの場所：中など/ HadoopのHadoopのディレクトリ
hadoop-env.sh

    export JAVA_HOME=/usr/java/jdk1.7.0_71    #jdk路径

コア-site.xmlに

 <!--  用于设置namenode并且作为Java程序的访问入口  --->
 <!--  hadoop1.msk.com 为主机名  -->
        <property>		
             <name>fs.defaultFS</name>
             <value>hdfs://hadoop1.msk.com:8020</value>
        </property>
       <!--  存储NameNode持久化的数据，DataNode块数据  -->
       <!--  手工创建$HADOOP_HOME/data/tmp  -->
        <property>
	         <name>hadoop.tmp.dir</name>
	         <value>/opt/install/hadoop-2.5.2/data/tmp</value>
         </property>

HDFS-site.xmlの

 <!--  设置副本数量 默认是3 可自行根据需求更改  -->
        <property>		
            <name>dfs.replication</name>
            <value>3</value>
        </property>
<!--  权限，可省略  -->
         <property>
             <name>dfs.permissions.enabled</name>
             <value>false</value>
          </property>

mapred-site.xmlに

<!--  yarn 与 MapReduce相关  -->
       <property>	 	        		
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
       </property>

糸-site.xmlに

 <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
  </property>

スレーブ
ノード1データノード名前ノードでもあり、機械のデータノードのホスト名が制限されているここで設定します

hadoop1.msk.com
hadoop2.msk.com
hadoop3.msk.com

名前ノードのフォーマット

目的関数は：システムフォーマットをHDFS、ディレクトリに格納されたデータブロックを生成します

   bin/hdfs namenode -format 

スタート|ストップ実行中の名前ノードのHadoopの[ノード]

   sbin/start-dfs.sh
   sbin/stop-dfs.sh

私は正常に起動JPSコマンドが使用可能なプロセスを表示するかどうかをテストしたいです

HDFSシェルアクセス

1. ディレクトリ構造をチェック

	bin/hdfs dfs -ls 路径

2. フォルダを作成します。

    bin/hdfs dfs -mkdir /a
    bin/hdfs dfs -mkdir -p /a/b

3. ローカルHDFSにファイルをアップロード

    bin/hdfs dfs -put local_path hdfs_path

4. ファイルの内容を見ます

   bin/hdfs dfs -text /a/c
   bin/hdfs dfs -cat /a/c

5. [削除]

    bin/hdfs dfs -rm /a/c

6. 削除非空のフォルダ

    bin/hdfs dfs -rmr /a

7. HDFSダウンロードファイルからローカルへ

    bin/hdfs dfs -get hdfs_path local_path

HDFCのブラウザアクセス

http://hadoop1.msk.com:50070アクセスHDFS
http://hadoop1.msk.com:8088アクセス糸