hadoop框架搭建：HDFS伪分布式搭建，HDFS完全分布式搭建

**1、

HDFS伪分布式搭建步骤：

(**1)配置免密登录 node01->node01
①ssh-keygen -t rsa
②ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
(2)配置JDK
①export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
②export PATH= $PATH:$JAVA_HOME/bin
(3)修改hdfs-site.xml配置文件
①

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

<property>     
 <name>dfs.namenode.secondary.http-address</name>
     <value>node01:50090</value>
</property>

(4)修改core-site.xml配置文件

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/local</value>
</property>

(5)修改slaves配置文件
修改为node01
(6)格式化NameNode(创建目录以及文件) hdfs namenode -format
(7)启动HDFS start-dfs.sh
(8)操作HDFS文件系统
①创建目录 hdfs dfs -mkdir -p /user/root
②上传文件 hdfs dfs -D dfs.blocksize=1048576 -put

HDFS完全分布式搭建步骤：

(1)时间同步
①各个节点安装ntp命令yum install ntp
②上网查找最新的时间服务器ntp1.aliyun.com
③同步时间ntpdate ntp1.aliyun.com
(2)配置免密登录
node01->node01 node01->node02 node01->node03 node01->node04
①所有节点执行 ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
②在node01节点执行，将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
(3)所有节点配置JDK
(4)修改hdfs-site.xml配置文件
①

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>   
  
 <name>dfs.namenode.secondary.http-address</name>
     <value>node02:50090</value>
</property>

(5)修改core-site.xml配置文件

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/cluster</value>
</property>

(6)修改slaves配置文件
修改为node02 node03 node04
将配置好的安装包分发到其他节点上
scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/
(7) 将所有的HDFS相关的进程关闭
(8)格式化NameNode(创建目录以及文件)在node01节点执行
①hdfs namenode -format
(9)启动HDFS start-dfs.sh
(10)操作HDFS文件系统
①创建目录 hdfs dfs -mkdir -p /user/root
②上传文件 hdfs dfs -D dfs.blocksize=1048576 -put