hadoop(HDFS)安装教程--简单易懂

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/weixin_43893397/article/details/102742634

1.准备工作

• 创建一个LInux虚拟机并安装CentOS6.9的镜像
• 配置网卡信息
• 安装JDK1.8
• 在/root目录下创建两个文件夹

software  --> hadoop安装包上传位置
app       --> hadoop安装路径
app/tmp   --> hadoop.tmp.dir 配置目录

2.开始安装

获取hadoop安装包

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz

官方文档

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html

• 下载,上传至虚拟机中的software目录下
• 解压到 /root/app目录下

tar -zxvf /root/software/hadoop-2.6.0-cdh5.15.1.tar.gz -C /root/app/

修改环境变量

• 新建文件hadoop.sh在/etc/profile.d目录下

touch /etc/profile.d/hadoop.sh

• 编辑文件

vim /etc/profile.d/hadoop.sh

• 添加以下内容

export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.15.1
export PATH=$PATH:$HADOOP_HOME/bin

• 更新profile资源

source /etc/profile

修改配置文件

配置文件放在hadoop安装目录下的etc/hadoop目录下

vim /root/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop/core-site.xml 

• 将虚拟机ip地址加8020端口放在<configuration> </configuration>中

	<property>
        <name>fs.defaultFS</name>              
        <value>hdfs://192.168.100.214:8020</value>
    </property>

• 效果如下:
  
• 修改hdfs配置文件

vim /root/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop/hdfs-site.xml

• 将hadoop.tmp.dir配置到/root/app/tem目录中

		<property>
                <name>hadoop.tmp.dir</name>
                <value>/root/app/tmp</value>
        </property>

• 效果如下

3.格式化HDFS

hdfs namenode -format

• 查看一下/root/app/tmp下的变化

ll /root/app/tmp

4.开启HDFS

sh /root/app/hadoop-2.6.0-cdh5.15.1/sbin/start-dfs.sh

• 输入jps 测试一下
  出现这个则是开启成功!
  

• 浏览器输入ip+端口5007 测试一下

192.168.100.214:50070

出不来,十有八九就是防火墙的问题!

关闭防火墙 并永久关闭(关闭开机自启)

service iptables stop    -->关闭防火墙
chkconfig iptables off   -->关闭防火墙开机自启

• 在浏览器再输入ip+端口测试一下