Hadoop 单机模式安装测试(Ubuntu)

Hadoop 安装有如下三种方式:
  • 单机模式:安装简单,几乎不用做任何配置,但仅限于调试用途;
  • 伪分布模式:在单节点上同时启动 NameNode、DataNode、JobTracker、TaskTracker、Secondary Namenode 等 5 个进程,模拟分布式运行的各个节点;
  • 完全分布式模式:正常的 Hadoop 集群,由多个各司其职的节点构成。
前提条件

安装java (不想去官网下载的话用这个)

https://download.csdn.net/download/wangrui1605/11312034

1 创建java安装目录

mkdir /opt/java

2 解压下好的jdk到安装目录

tar -xzvf jdk-7u80-linux-x64.tar.gz -C /opt/java

3 配置环境变量并生效

在这里插入图片描述

--打开配置文件
vim /etc/profile   
--加入下面的配置 shift + g 到最后一行。 o 切换到下一行进行编辑
export JAVA_HOME=/opt/java/jdk1.7.0_80
export JRE_HOME=/opt/java/jdk1.7.0_80/jre
export CLASSPATH=$JAVA_HOME/lib
export PATH=:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
--加入配置后 wq 保存并且退出
--使用source 命令使配置生效
source /etc/profile

4 检查java安装情况

--一般我们使用两个命令
1 which java
2 java -version 

在这里插入图片描述在这里插入图片描述

检查安装没有问题后我们就开始安装hadoop了

现在官网下载好hadoop。这个版本是2.7

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

1 创建安装目录

mkdir /opt/hadoop

2 解压下载好的hadoop 到刚才创建的目录。

tar -xzvf hadoop-2.7.6.tar.gz -C /opt/hadoop

3 配置环境变量并生效

--打开配置文件
vi /etc/profile
--在文件的末尾加入配置
HADOOP_HOME=/opt/hadoop/hadoop-2.7.6/
PATH=$PATH:$JAVA_HOME/bin:HADOOP_HOME/bin:$HADOOP_HOME/sbin
--使配置生效
source /etc/profile

4 检查配置是否生效

在这里插入图片描述
出现上面的显示说明我们的安装是成功的

hadoop 的目录说明在这里插入图片描述

1 bin 二进制的可执行文件(主要是常用的命令)

2 sbin 二进制可执行文件 这里面的主要是启动和停止的二进制命令

3 lib 是依赖库

4 etc hadoop 的配置文件

运行官网提供的测试程序!检测一下文本中的单词的出现次数

1 首先准备要运行的数据文件

mkdir /opt/input  --创建要执行文件的目录
cp /opt/hadoop/hadoop-2.7 6/etc/hadoop/*.xml /opt/input --将文件拷贝到将要运行的文件夹中

2 执行wordcount 进程将文件输出到一个文件夹中(最好使用空白的没有创建的目录可以明显的看出来运算的结果。)

hadoop jar /opt/hadoop/hadoop-2.7 6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount /opt/input/ opt/outout 

3 计算出单词的出现的频率

[外链图片转存失败(img-I18McYWH-1562736859904)(/Users/wangrui/Library/Application Support/typora-user-images/image-20190710133100371.png)]

4 去output 目录查看结果

more part-r-00000

在这里插入图片描述在这里插入图片描述

到此单机版的hadoop就算是搭建完成啦!有很多不对的地方欢迎大家指正!

发布了20 篇原创文章 · 获赞 2 · 访问量 9772

猜你喜欢

转载自blog.csdn.net/wangrui1605/article/details/95312823