centos7搭建hadoop伪分布式

1.准备工作

1）设置虚拟机与windows共享文件夹

参考文章：https://blog.csdn.net/greatxiaoting/article/details/81515065

2）将jdk和hadoop的tar包放到windows的共享文件夹D:\share

jdk和hadoop下载地址：

https://pan.baidu.com/s/1pm6y1dsaQ5i09nFYNk_liA // hadoop-2.7.3.tar.gz

https://pan.baidu.com/s/1aiH7Iczv5D8kmLRgrYmJqQ //jdk-8u131-linux-x64.tar

注：共享文件夹的目录因人而异

3）在虚拟机中创建安装目录

sudo mkdir /soft

sudo chown centos:centos /soft //设置目录的用户权限为centos

注：centos为本机的用户名，具体因人而异

2.安装jdk

1）进入共享目录

cd /mnt/hgfs/share

2）解压jdk安装包

tar -xzvf jdk-8u65-linux-x64.tar.gz -C /soft //jdk版本因人而异

3）创建符号链接

ln -s /soft/jdk-1.8.0_65 /soft/jdk //soft为jdk的安装目录

ln -s /soft/jdk/bin/jps /usr/local/bin/jps

4) 修改jps符号链接的owner

sudo chown -h centos:centos /usr/local/bin/jps

5）配置jdk环境变量

vim /etc/profile

添加配置内容：

export JAVA_HOME=/soft/jdk

export PATH=$PATH:$JAVA_HOME/bin

保存退出

6）生效环境变量

source /etc/profile

7）验证jdk配置

进入任意目录下,输入：java -version

3.安装hadoop

1）进入共享目录

cd /mnt/hgfs/share

2）解压hadoop安装包

tar -xzvf hadoop-2.7.3.tar.gz -C /soft //hadoop版本因人而异

3）创建符号链接

ln -s /soft/hadoop-2.7.3 /soft/hadoop //soft为hadoop的安装目录

4）修改hadoop配置文件

vim /soft/hadoop/etc/hadoop/hadoop-env.sh

修改内容为：

export JAVA_HOME=/soft/jdk

保存退出

5) 配置hadoop环境变量

vim /etc/profile

添加配置内容：

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出

5）生效环境变量

source /etc/profile

6）验证hadoop配置

进入任意目录下,输入：hadoop version

4.hadoop文件配置

1）进入hadoop配置文件目录

cd /soft/hadoop/etc/hadoop

2) core-site.xml配置内容

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost/</value>
  </property>
  <!--- 配置新的本地目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/centos/hadoop</value>
  </property>
</configuration>

3) hdfs-site.xml配置内容

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

4) mapred-site.xml配置内容

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

5) yarn-site.xml配置内容

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>localhost</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

5. 关闭防火墙

sudo systemctl status firewalld.service //查看防火墙状态

sudo systemctl stop firewalld.service //关闭防火墙

sudo systemctl disable firewalld.service //"开机自启"禁用防火墙

6. 格式化namenode

cd /soft/hadoop/bin

hadoop namenode -format

7.启动hadoop的所有进程

start-all.sh

jps //查看所有启动的hadoop进程

显示结果为6个进程：

16422 DataNode

17624 Jps

17209 NodeManager

16218 NameNode

17082 ResourceManager

16765 SecondaryNameNode

centos7搭建hadoop伪分布式

猜你喜欢