Hadoop开发 error

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ZZh1301051836/article/details/88833155

1 集群搭建完成时

Hadoop 集群搭建完成,第一次格式化Namenode结点后:
正常情况会出现:
Namenode running as process …
Datanode running as process …
Datanode running as process …

  1. 若使用jps命令,没有出现Namenode
    core-site.xml中,fs.defaultFS的值为hdfs://nna:9000。
    检查Namenode、所有DataNode,将其9000端口打开。

打开9000端口的方法:

cd /
/sbin/iptables -I INPUT -p tcp --dport 9000 -j ACCEPT
/etc/init.d/iptables save
service iptables restart
  1. datanode正常启动,可jps 没有datanode
    先不必检查错因,可以再通过浏览器检查一遍。
    在浏览器地址栏中输入http://nna:50070 ,其中nna为主机名。查看Live Nodes,笔者使用 jps未找到DataNode,但在浏览器中找到了。

2 wordCount失败时

运行至Running Job。。。一直卡在这里。
参考文献:hadoop2.7.x运行wordcount程序卡住在INFO mapreduce.Job: Running job:job _1469603958907_0002
笔者亲测,只修改了yarn-site.xml

参考文献:hadoop启动后通过jps查看进程datanode或namenode不存在问题解决

2 Wrong FS: hdfs://localhost:9000/output, expected: file:///

在定义一个FileSystem变量的时候伪分布式和单机版的方法是不一样的,单机版使用的是FileSystem类的静态函数:

Configuration conf = new Configuration();
FileSystem hdfs = FileSystem.get(conf) 

伪分布式下需要使用Path来获得:

Configuration conf = new Configuration();
Path path = new Path("hdfs://nna:9000/input/hello.txt");//分布式文件系统 文件 的路径对象
FileSystem fs = path.getFileSystem(conf);//分布式文件对象

参考网址:
Hadoop Problem : Wrong FS: hdfs://localhost:9000/output, expected: file:///

猜你喜欢

转载自blog.csdn.net/ZZh1301051836/article/details/88833155