ubuntu18.04搭建hadoop

1 安装ssh环境

首先进入root权限

su 

关闭防火墙

systemctl stop firewalld.service

开机不启动防火墙

systemctl disable firewalld.service

查看防火墙状态

ufw status

配置root用户远程连接
如果没有安装ssh-server,先安装:

apt-get install openssh-server

修改sshd_config

gedit /etc/ssh/sshd_config

找到

# Authentication:
LoginGraceTime 2m
PermitRootLogin without passwd
StrictModes yes

改成

# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes

然后重启即可。
设置ssh localhost免密登录

ssh localhost
exit

输入密码进去后,然后退出来。
在进行了初次登陆后,会在当前家目录用户下有一个.ssh文件夹,进入该文件夹下:

cd ~/.ssh/

使用rsa算法生成密钥和公钥对

ssh-keygen -t rsa

在这里插入图片描述
运行后一路回车就行,其中第一个是要输入秘钥和公钥对的保存位置,默认是在:.ssh/id_rsa
然后把公钥加入到授权中:

cat ./id_rsa.pub >> ./authorized_keys

再次ssh localhost时就不用密码登录了。

2 安装并配置JDK

请看教程ubuntu18.04安装jdk

3 hadoop安装包下载

在apache官网找到并下载hadoop2.9.2安装包
在这里插入图片描述

4 解压hadoop

先在/usr/local/下创建一个hadoop文件夹,用来存放hadoop文件。
sudo mkdir /usr/local/hadoop
在这里插入图片描述
解压hadoop压缩包
tar -zxvf hadoop-2.9.2.tar.gz
在这里插入图片描述
解压完成后,移动hadoop-2.9.2文件/usr/local/hadoop下:
mv -v hadoop-2.9.2 /usr/local/hadoop

5 为当前用户设置权限

sudo chown -R 当前用户名 ./hadoop

6 配置hadoop

为hadoop设置环境变量

sudo vi /etc/profile

在末尾添加

JAVA_HOME=/usr/local/java/jdk1.8.0_191
HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/sbin:$PATH
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2

别忘了写hadoop和jdk安装路径!!
添加好后,更新环境变量

source /etc/profile

检测hadoop

hadoop version

如果配置成功,将出现以下其内容:
在这里插入图片描述

7 修改配置文件

在路径/usr/local/hadoop/hadoop-2.9.2/etc/hadoop下有一个core-site.xml文件
在这里插入图片描述
在该文件中添加:

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

在这里插入图片描述
在相同路径下修改hdfs-site.xml文件,在该文件中添加:

<configuration>
	<property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

仍然在相同路径下修改hadoop-env.sh,添加:export JAVA_HOME=/usr/local/java/jdk1.8.0_191
在这里插入图片描述

8 测试 启动

格式化namenode

hadoop namenode -format

在这里插入图片描述
启动hdfs

stall.sh

在这里插入图片描述
查看相应进程

jps

在这里插入图片描述
网页查看5个进程(http://localhost:50070/dfshealth.html#tab-overview)
在这里插入图片描述
参考:Ubuntu 18.04 安装 Hadoop系统环境

猜你喜欢

转载自blog.csdn.net/qq_41822647/article/details/84451416