Ubuntu 14.04 LTS下安装Hadoop 1.2.1(伪分布模式)

伪分布模式安装:

首先下载Hadoop 1.2.1到本机,再解压到用户目录下。

然后配置hadoop的几个配置文件,都是XML格式。

首先是core-default.xml。这里配置hadoop分布式文件系统的地址和端口,以及Hadoop临时文件目录(/tmp/hadoop-${user.name})。

<!-- Put site-specific property overrides in this file. -->

修改hadoop系统环境配置文件,告诉hadoop安装好的jdk的主目录路径

然后是hdfs-site.xml 。修改hdfs的文件备份数量为1,dfs命名节点的主目录,dfs数据节点的目录。

<!-- Put site-specific property overrides in this file. -->

最后配置mapreduce的job tracker的地址和端口

<!-- Put site-specific property overrides in this file. -->

配置masters文件和slaves文件,这里因为我们是伪分布式,命名节点和数据节点其实都是一样。

编辑/etc/hosts文件,配置主机名和IP地址的映射关系

创建好core-default.xml,hdfs-site.xml,mapred-site.xml 三个配置文件里面写到的目录

格式化HDFS

启动所有Hadoop服务,包括JobTracker,TaskTracker,Namenode

查看Hadoop服务是否启动成功

查看hadoop群集的状态

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Name: 127.0.0.1:50010
Decommission Status : Normal
Configured Capacity: 41083600896 (38.26 GB)
DFS Used: 40960 (40 KB)
Non DFS Used: 8360431616 (7.79 GB)
DFS Remaining: 32723128320(30.48 GB)
DFS Used%: 0%
DFS Remaining%: 79.65%
Last contact: Sat Dec 26 12:22:07 PST 2015

下面关于Hadoop的文章您也可能喜欢,不妨看看:

猜你喜欢

转载自www.linuxidc.com/Linux/2016-09/135406.htm
今日推荐