hadoop的伪分布式在centos下安装

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/axiaoboge/article/details/79001793

虽然自己搞hadoop也有一段时间了,但是在和网友交流过程中,发现很有朋友对hadoop安装的还是有很大的问题,网上的博客也是乱的一塌糊涂,对新手造成很大的误解,所以自己写篇博客分享给网友,同时也加强自己记忆吧。。。

hadoop版本:   http://archive.cloudera.com/cdh5/cdh/5/    

crtl+F   搜索我们需要的版本

准备  : hadoop(hadoop-2.6.0-cdh5.7.0.tar.gz)的版本 , xshell(工具任意), 简单的linux命令操作, jdk(1.7以上)  个人使用的是centos系统(新手可以加我qq问我要镜像):干净简洁


一个简单干净的contos的环境就准备好了

1 : 新建contos用户 


(新增了hadoop用户 ;设置hadoop用户的密码)

2:root用户修改新建用户权限



i按键是进入编辑状态 ;编辑好按esc  ,wq是保存退出  ,wq!保存并强制退出

3: 切换到hadoop用户

新建链接 ,登录刚新建的hadoop用户和密码


新建一个文件夹 : mkdir app

上传hadoop版本,打开xshell的窗口 ,传输新建文件


上传到app下 ,解压 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz


解压ok ,

配置hadoop和jdk的环境,

   sudo vim /etc/profile


验证java环境(jdk我是放在usr/local下的,此处没有演示,不会的可以百度下,很简单)

java ,java-version  

此处还需要配置hadoop的java环境,因为hadoop的程序也是跑在jvm之上的:

进入 hadoop-2.6.0-cdh5.7.0/etc/hadoop 这个文件夹下

vim hadoop-env.sh 


就是你jdk的安装环境 ;(ps:   pwd可查看当前路径)

验证hadoop环境


环境验证ok,配置下ip

sudo vim /etc/hosts


配置好之后: source  /etc/hosts

然后再修改 :sudo vim /etc/sysconfig/network


在source  /etc/sysconfig/network 

这个是contos重启才能生效


我们开始配置hadoop的配置文件了

先配置core-site.xml  (hadoop-2.6.0-cdh5.7.0/etc/hadoop)


这个tmp需要自己创建,如果自己不创建系统启动会给你创建.

在配置hdfs-site.xml  (一个副本) vim hdfs-site.xml


hadoop就配置结束了。。。。

然后安装ssh免密登录


     ssh-keygen -t rsa   密码就按ENTER结束,就是没有密码





 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  复制秘钥验证

验证一下


这就登录上了,下次再登录就不要密码了

然后就是格式化namenode

启动命令在 hadoop文件的bin下

./hadoop namenode -format


namenode格式化成功,(ps: 第一次启动需要格式化,下次就不需要呀)

然后进入 hadoop/sbin目录下

./start-dfs.sh 



启动好用jps验证下就ok了, 三个进程缺一不可 

如果出现错误可以去hadoop文件下的logs中查看日志

然后也可以看web界面


如果查看不到也可以是你本地hosts文件问题(个人qq:664283422 有问题可以咨询我)

猜你喜欢

转载自blog.csdn.net/axiaoboge/article/details/79001793