hadoop安装配置

在 /opt/ 目录下创建 software 与 module 空文件夹

cd /opt/ mkdir software module

下载或上传 Hadoop 安装包到此目录下

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

解压 Hadoop 安装包到 /opt/module/ 目录下

tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/

在 /opt/module/hadoop-2.7.7/ 目录下创建 logs 与 tmp 空文件夹

cd /opt/module/hadoop-2.7.7/ mkdir logs tmp

进入 /opt/module/hadoop-2.7.7/etc/hadoop/ 目录下分别配置 hadoop-env.sh ，hadoop-env.sh ，hdfs-site.xml

cd /opt/module/hadoop-2.7.7/etc/hadoop/
vi hadoop-env.sh

按 Shift+ G 键跳到最后一行，在按 O 键进入下一行编辑

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_144

按 ESC 键退出编辑模式

:wq
vi core-site.xml

按 Shift+ G 键跳到最后一行，在按 i 键进入编辑模式，在标签 configuration 里按 Enter 键输入以下配置

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://rhe101:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.7/data/tmp</value>
</property>

按 ESC 键退出编辑模式

:wq
vi hdfs-site.xml

按 Shift+ G 键跳到最后一行，在按 i 键进入编辑模式，在标签 <configuration> 后面按 Enter 键输入以下配置

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

按 ESC 键退出编辑模式

:wq

更改主机名

vi /etc/hosts

按 Shift+ G 键跳到最后一行，在按 O 键进入下一行编辑

192.168.159.101 rhe101
192.168.159.102 rhe102
192.168.159.103 rhe103
192.168.159.104 rhe104

按 ESC 键退出编辑模式

:wq

修改主机名

hostnamectl set -hostname rhe101

启动集群

（a）格式化 namenode（第一次启动时格式化，以后就不要总格式化）

cd /opt/module/hadoop-2.7.7/
bin/hdfs namenode -format

（b）启动

sbin/start-dfs.sh

（c）启动namenode

sbin/hadoop-daemon.sh start namenode

（d）启动datanode

sbin/hadoop-daemon.sh start datanode

关闭防火墙

systemctl stop firewalld.service

禁用防火墙

systemctl disable firewalld.service

在浏览器中访问 http://192.168.159.101:50070/ 验证是否成功

大数据伪分布式搭建

hadoop安装配置

猜你喜欢