hadoop HDFS完全分布式搭建

1.准备阶段

准备好两台虚拟机(安装好hadoop,见：https://www.cnblogs.com/cjq10029/p/12336446.html)，计划：

IP           主机名
192.168.3.7  hdp01   主节点
192.168.3.8  hdp02   从节点

2.开始操作

1.同步时间

yum install ntpdate   #各节点安装同步工具
ntpdate ntp1.aliyun.com    #同步阿里云ntp服务器时间
date          #查看同步后的时间

2.配置IP映射

vim /etc/hosts   #进入配置文件
192.168.3.7 hdp01   #末尾加入这两行
192.168.3.8 hdp02

3.配置免密

授权免密访问
hdp01-->hdp01
hdp01-->hdp02

ssh-keygen  #生成密钥对
ssh-copy-id hdp01   #将公钥拷贝给本机
ssh-copy-id hdp02   #将公钥拷贝给其他机

4.修改hdfs-site.xml配置文件（主从节点）

vim /opt/software/hadoop277/etc/hadoop/hdfs-site.xml
#在已有标签内写入以下代码
<property>
        <name>dfs.replication</name>
        <value>3</value>   //Block副本数
</property>

5.修改slaves配置文件

vim /opt/software/hadoop277/etc/hadoop/hdfs-site.xml
#写入以下代码
hdp01
hdp02

6.启动测试

start-dfs.sh   #在主节点启动，从节点会跟着启动

3.sbin下的脚本

start-all.sh    一次启动五个

hadoop-daemon.sh  一次启动或停止一个 namenode   datanode   secondnamenode

​   hadoop-daemon.sh start datanode

​   hadoop-daemon.sh stop datanode

yarn-daemon.sh  一次启动或停止一个   nodemanager resourcemanager

start-yarn.sh  一次启动两个  nodemanager resourcemanager

start-dfs.sh 一次启动三个  namenode   datanode   secondnamenode