Ubuntu18安装Hadoop

Ubuntu18 安装Hadoop

(1)JAVA jdk8.0环境安装与配置；
(2)SSH环境安装与配置；
(3)Hadoop伪分布式模式安装与配置。
创建Hadoop用户并为其设置密码：
为Hadoop用户增加sudo权限：使用命令“sudo adduser hadoop sudo”
然后注销当前用户回到登录界面，登录hadoop。
使用sudo apt update更新软件仓库。

安装SSH并配置SSH无密码登录：

安装openssh-server:
安装好后可以使用如下命令登录本机但是需要输入用户密码：
使用exit命令退出ssh，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：
现在使用ssh localhost 登录本机就不用输入密码了：
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200401152934725.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzcwOTYwMQ==,size_16,color_FFFFFF,t_70

安装Java环境

我使用的是下面这种方法安装的java8，直接把“7”改成“8”就可以了：
配置成功后查看JAVA_HOME的值和java版本：
在Ubuntu的浏览器搜索Hadoop下载，可以进入Hadoop官网，最好下载static稳定版本的，我下载的版本是hadoop3.2.1，下载完成后再终端使用命令将Hadoop安装到/usr/local，找不到目录是因为Ｕｂｕｎｔｕ１８版本浏览器下载文件的保存地方不一样，然后我把安装包移到了这个目录下就可以了：
解压后可以把文件夹移到专门的文件夹下面比如我这里是“hadoop”，并为其添加权限，成功后进入hadoop目录，运行“./bin/hadoop version”则会显示Hadoop版本：
Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。下面是一个简单实现的例子：

Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。 Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。
修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)，：

注意画框的地方正确的是：fs.defaultFS。

同样的，修改配置文件 hdfs-site.xml：
然后执行 NameNode 的格式化:
启动Hadoop，NameNode 和 DataNode 守护进程：
如果启动不成功，请仔细检查前面的配置有没有问题。
成功启动后，可以在浏览器访问web界面：http://localhost:9870 (hadoop2版本的端口号是50070）查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件：