CentOS上hadoop伪分布式配置

安装linux

详细步骤参考文章:http://hermosa-young.iteye.com/admin/blogs/1776184

安装java

详细步骤参考文章:http://hermosa-young.iteye.com/admin/blogs/1798026

在官网上下载Hadoop

地址:http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.1.1/

将下载好的安装文件,拷贝到共享文件夹:E:\share1下,如下图所示。



在CentOS系统中,查看该安装文件,如下图所示。


 
在该文件拷贝到/usr下,并查看该文件,如下图所示。


 
解压到/usr目录下,如下图所示。

会在usr下生成hadoop-1.1.1目录,将目录名称改为hadoop,如下图所示。


 
修改配置文件,如下图所示。



将下图中标注行开头的“#”去掉,并修改路径信息,保存退出。

  

Hadoop配置 

修改三个配置文件分别是core-site.xml,hdfs-site.xml和mapred-site.xml。

修改core-site.xml,如下图所示。

 
修改hdfs-site.xml,如下图所示。


 

修改mapred-site.xml,如下图所示。



 
此时执行ssh localhost,会看到需要输入密码,如下图所示。


 

现在进行免密码SSH配置,输入如下命令,之后一直按<Enter>键,就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中,如下图所示。 


 
再进入到.ssh目录,执行如下命令,之后再执行ssh localhost命令,就可以实现用SSH连接并且不需要输入密码,如下图所示。


 
现在要运行Hadoop

首先格式化分布式文件系统,如下图所示。


 
启动Hadoop守护进程。输入命令,如下图所示。


 
成功执行后,将在本机上启动NameNode,DataNode,JobTracker,TaskTracker和Secondary NameNode

通过http://localhost:50070查看NameNode运行情况,如下图所示。

 
通过http://localhost:50030查看Jobtracker运行情况,如下图所示。


 

关闭系统,如下图所示。


 
  

猜你喜欢

转载自hermosa-young.iteye.com/blog/1798108
今日推荐