在32bit win7下安装测试Hadoop2.6.0 etc纪要

    根据官网指导(http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html),按照wiki(http://wiki.apache.org/hadoop/Hadoop2OnWindows)的步骤进行,如果你的wiki安装步骤都顺利,那么往下也不用看了。

    wiki上提到“Hadoop version 2.2 onwards includes native support for Windows. The official Apache Hadoop releases do not include Windows binaries (yet, as of January 2014).However building a Windows package from the sources is fairly straightforward”,实际上在2.4、2.5直至目前最新版2.6,官方发行版一直都是不包含win本地库的,需要的话你得自己mvn编译,但在我的32位win7家庭版上问题出在步骤2.6,由于SDK一直装不上、mvn编译无法执行、无法本地编译hadoop。

    问题的源头是SDK7.1一直装不上,我将.net框架从4.5改到了4.0、以及针对注册表权限的修改都没用,始终安装失败。stackoverflow找办法:http://stackoverflow.com/questions/19620642/failed-to-locate-the-winutils-binary-in-the-hadoop-binary-path;这个stackoverflow办法不错,还提供了Simple Solution,只可惜提供下载的是64位winutils,当中提到了一篇更详细、有针对的资料:Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS

    由于我本机无法编译,那么要么是找别的机器,有32位win7系统、并且具备4.0 .net + SDK7.1的、装上maven、JDK(如果没有的话)、把hadoop-2.6.0编译出来;要么继续去网上找雷锋上传的现成hadoop\bin,所幸找到了:http://www.cnblogs.com/smartbooks/p/3694760.html,赞一个!

    还有一位雷锋winghc提供了2.x版的eclipse插件下载:https://github.com/winghc/hadoop2x-eclipse-plugin,并于去年底提交了hadoop-eclipse-plugin-2.6.0.jar,他的博客:http://blog.csdn.net/white__cat/article/details/38392439,good job!

    在进行到wiki指导的最后一步3.5,执行put命令时出错,貌似仍然是winutils版本不对付,参考:

    http://download.csdn.net/detail/u014310430/8402965

    下载、解压、拷贝,再次运行:

    hdfs dfs -put myfile.txt /

o了,也可以ls查看到。smartbooks提供的是基于2.2版,看来2.4前后的winutils版本不兼容似乎是真的...

最终认识到:在win上搞hadoop就是耍流氓,推荐Ubuntu Kylin

猜你喜欢

转载自since1978.iteye.com/blog/2202946
今日推荐