Linux系统CentOS 7 搭建Hadoop伪分布式环境遇到问题以及解决方法

今天实打实的体验来一把CentOS 7搭建Hadoop伪分布式环境,也是入了很多坑,我参照Centos7.0配置Hadoop2.6.3单机/伪分布式环境这篇文章操作的,文章写得好,在此表示感谢!

下面就在搭建Hadoop伪分布式环境中的坑做个记录,也希望可以帮助他人一起进步。

1binsbin目录不要搞错了

在Linux根目录下面也有这两目录,配置完成后,执行 NameNode 的格式化时,要注意别进错目录

./bin/hdfs namenode -format 注意是 hadoop-2.8.0(我电脑配置目录)目录下的

先进入hadoop-2.8.0之后,执行指令cd bin 以及 cd sbin 

不要写成习惯就 cd /bin,这样是到根目录下的bin目录中去了

2-bash start-dfs.sh:command not found

遇到这个错误时,我查阅了网上的一些解决方法,有很多这里就不一一列举,这里说一下最简单的方式,直接在前面加 sh

比如执行start-dfs.sh 变成 sh start-dfs.sh就可以执行成功,简单快捷

3ip:50070访问不响应问题

我没有用虚拟机然后安装CnetOS,我是直接在阿里云上购买了云服务器,搭建过程一直都进展顺利,最后在浏览器中执行10.34.x.x:50070时一直无响应,查阅了很多资料,关于core-site.xml设置完没格式化,hosts主机没设置等等,一一验证都不存在,最后实在没办法登录阿里云后台管理,看到安全组,猜想会不会是50070端口没开放,增加一个安全规则,端口号设置为1/65535,添加好后刷新浏览器,成功了!



4、hdfs://10.34.x.x:9000 不生效问题

core-site.xml文件中fs.defaultFS设置为hdfs://localhost:9000在配置都成功可以在浏览器中访问,但如果外网要连接时需要设为IP地址,这个时候发现sh start-all.sh重新执行后,jps发现namenode进程没有开启

通过查询发现,外网中的hadoop如果想要被外网访问,需要在core-site.xml 中添加

这样重启开启Hadoop,使得hadoop能监听外网的9000端口,刷新浏览器可以成功访问!

猜你喜欢

转载自blog.csdn.net/oyudabajiao/article/details/79807297