07hadoopインストール - 良いプログラム

[インストール]をクリックし、テストのHadoop


1•ローカル(スタンドアロン)モード(ローカルモードシングルノード)LinuxファイルシステムのストレージシステムのHadoopで
、開発のためのLinuxのファイルシステムを使用して単一の環境でJVMを実行するテスト、デバッグ環境

ファイル名を指定して実行ケース

2•疑似分散モード(疑似分散モードは、それが単一のマシン上で実際にある)
、それ(最後の)自分のテイクを行うには
、シェルHDFSに精通し
HDFSのDFS -help

3•完全分散モード(各ノードが実行して、複数のノードに分散)

 

セットHadoopの動作環境envがJAVAHOMEの内部を変更、動作環境hadoop-env.sh Hadoopの動作環境と呼ばれ、

このスタンドアロンインストール。

 

 

メタデータは、データ記述であります

---------------------------------

完全分散型Hadoopの公式サイト
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html

高い信頼性を自動的にコピーの数を保持するように設定され、一度(つまり、バックアップである)、名前ノード定期的に複製されたコピーを失ったコピー。

しかし、また、高速メカニズム、毎回1時間のレポートを報告し、場合不足しているコピーの一部を検出し、データノード上でハングアップしていると考えたらは報告されていません、

名前ノードは、他のいくつかのブロックは、いくつかの他のクラスタのコピーへの4つのブロックになります教えてくれます

まだ生きて、生きているデータノードを示し、3分ごとに一度報告するハートビートメカニズムもあり、名前ノードは、その部分のタスクを与えることができます

 

 


 

     設定とクラスタHDFSのテスト


    hadoop集群安装
    1、jdk
    2、ssh免密
    hadoop0001--->hadoop0001,hadoop0002,hadoop0003
    3、静态IP
    4、hostname
    5、hosts
    6、防火墙关闭
    7、使用root用户(企业级的集群,使用普通用户hadoop)

    

    安装步骤:
    1、解压并配置环境变量 tar -zxvf had -C /usr/local
    2、配置hadoop的运行环境
    hadoop-env.sh

1 hadoop的核心配置文件
vi $HADOOP_HOME/etc/hadoop/core-site.xml
<!--指定hadoop所使用的文件系统schema(uri),hdfs的老大的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop0001:9000</value>
</property>

<!--指定buffer的大小-->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>

<!--指定hadoop运行时产生的文件的存放目录-->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/tmp/hadoop-${user.name}</value>
  <description>A base for other temporary directories.</description>
</property>

3、2 配置hdfs的设置
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<!--指定namenode的元数据的存放路径-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoopdata/dfs/name</value>
</property>

<!--指定datanode的数据的存放路径-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoopdata/dfs/data</value>
</property>

<!--指定namenode的web ui的监控端口-->
<property>
   <name>dfs.http.address</name>
   <value>master:50070</value>
</property>

<!--指定secondary namenode的web ui的监控端口-->
<property>
   <name>dfs.secondary.http.address</name>
   <value>slave1:50090</value>
</property>

<!--指定副本数量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<!--指定块的大小-->
<property>
<name>dfs.blocksize</name>
<value>128m</value>
</property>

<!--指定web端 rest api是否开启操作hdfs的权限-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

<!--是否开启文件系统权限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

<!--文件系统的检测目录-->
<property>
  <name>dfs.namenode.checkpoint.dir</name>
  <value>file:///usr/local/hadoopdata/checkpoint/cname</value>
  <description>Determines where on the local filesystem the DFS secondary
      name node should store the temporary images to merge.
      If this is a comma-delimited list of directories then the image is
      replicated in all of the directories for redundancy.
  </description>
</property>

<!--edits的检测目录-->
<property>
  <name>dfs.namenode.checkpoint.edits.dir</name>
  <value>file:///usr/local/hadoopdata/checkpoint/cname</value>
  <description>Determines where on the local filesystem the DFS secondary
      name node should store the temporary edits to merge.
      If this is a comma-delimited list of directories then the edits is
      replicated in all of the directories for redundancy.
      Default value is same as dfs.namenode.checkpoint.dir
  </description>
</property>

 
    3、3配置小弟文件
    vi $HADOOP_HOME/etc/hadoop/slaves
    hadoop0001
    hadoop0002
    hadoop0003


    4、分发安装包
    scp -r 

    5、初始化 格式化namenode
    name.dir的路径不能手动创建
    hdfs namenode -format
    hadoop namenode -format 

    6、启动
    单节点:
    hadoop-daemon.sh start namenode

    批量启动:
    start-dfs.sh

 

   HDFS简单介绍及读写流程——千峰视频

发布了190 篇原创文章 · 获赞 16 · 访问量 19万+

おすすめ

転載: blog.csdn.net/penghao_1/article/details/104372243