在window搭建hadoop的开发环境

我的场景是这样的:
   windowXP上运行着eclipse以及hadoop-eclipse插件,但是本文的重点不是说如何在eclipse上安装hadoop的开发插件。
   hadoop集群运行在另外三台linux机器上,且已经安装好。
   我的这篇文章是讲如何把上述的eclipse和这个hadoop集群联系起来,进行日常的开发调试。
  
   hadoop集群上的用户是hadoop,但是window系统上的用户登录名为wxxxxxx,因为公司对用户管理严格,我没法添加hadoop用户,所以这篇文章讲了如何处理这种情景。
   用户名不一致导致文件夹访问受影响,开始根据网上的提示,在FileUtil.java中注释掉了checkReturnValue函数中抛出异常的代码,然后又有新的问题,显示出了HDFS上的一个新文件夹,还是以window用户名命名的,虽然在eclipse的DFS Location配置中配置了用户名为hadoop,但是没起作用,后来急了,干脆把hadoop这个用户名直接写到程序里算了。对着源代码调,在org.apache.hadoop.security.User类里,


在shortName = new KerberosName(name).getShortName(); 前面

添一句name="hadoop";

呵呵,有点粗暴。不过能解决问题。

能在eclipse上观察input文件夹和output文件夹里的内容真好。
  

猜你喜欢

转载自brucewei777.iteye.com/blog/1736393