部署Hadoop的HDFS分布式文件系统

本实验的目的：br/>搭建hadoop的HDFS，通过DataNode节点的添加与删除实现HDFS空间动态增加与减少，以及HDFS文件系统的基本管理。
实验环境：
虚拟机环境：
实验步骤：
1、准备环境
1)master、slave1~3上配置域名解析与主机名
在192.168.0.11的主机上：
在192.168.0.12的主机上：
在192.168.0.13的主机上：
2）JDK安装
3）添加hadoop运行用户
同理：在slave1-slave3上重复步骤2）和步骤3），这里就不在截图。
2、配置SSH密钥对
要求master免密码登录各slave，用于开启相应服务。
Master无密码连接slave，先切换hadoop用户，用ssh-keygen按照默认配置直接按Enter键生成密钥对，通过ssh-copy-id将公钥复制至3个slave主机中，复制过程需要输入slave主机的hadoop用户密码，作用是master远程启动slave。
3、安装hadoop，在master和slave上配置环境变量。
1）安装hadoop
2）配置环境变量
3）配置hadoop
每个slave主机重复步骤1）和步骤2）（即它们也需要安装hadoop并设置环境变量），等前两步完成了再由master通过SSH安全通道把刚才配置的6个文件复制给每个slave。
每个slave主机上重复1）和2）步骤的截图这里省略，请参考上面去做，命令全部一样
4、使用HDFS初始化master
1)格式化HDFS文件系统
2）检查新生成的目录
3）启动hadoop群集（开机hadoop的冗余功能）
启停hadoopde的管理命令位于@HADOOP_HOME/sbin下，以start-*或stop-*开头；单独启动HDFS分布式文件系统可使用start-dfs.sh,也可以使用以下命令启动整个hadoop集群。

4）验证访问
通过浏览器查看NameNode，即master，访问http://192.168.0.10:50070,可以查看视图统计信息和HDFS存储信息等。
验证之前先关闭master和所有slave的防火墙



5）hadoop基本命令
使用“hadoop fs”命令可以结合普通的文件管理命令实现很多操作，如查看、修改权限、统计、获取帮助、创建、删除、上传下载文件等，更多的用法可使用“hadoop fs -help”或“hadoop fs -usage”命令查看。


............
5、为HDFS集群添加节点
个人觉得上面的步骤都能了解的话，添加节点就很easy了，如果还有疑问的话，请留言！！