PDI(Kettle)5.3在windows下运行mapreduce

原创文章，转载请注明出处：http://qq85609655.iteye.com/blog/2109124

最近，hadoop升级到了最新的2.6版本

使用ambari 部署完毕后。

以前都是在linux下，通过VNC开发，非常不方便，尤其复制黏贴，时灵时不灵。

而且，响应也没有本机(公司的台式机windows)上那么快，工作效率下降。

于是，开始了windows和linux上mapreduce的研究

首先，需要在windows下访问hdfs，我本机的用户是abc，测试服务器用的是简单权限，没有用kerberos，所以在hdfs-site.xml添加如下配置:

    <property>
      <name>hadoop.proxyuser.abc.groups</name>
      <value>*</value>
    </property>
    
    <property>
      <name>hadoop.proxyuser.abc.hosts</name>
      <value>*</value>
    </property>

到了这一步，我们可以访问hdfs了

接下来，执行Mapreduce，报错，windows上报如下:

再查看nodemanager上的节点日志

Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

既然无法加载，或者找不到类，那么就是classpath的问题。

找到执行mr的临时文件夹

/hadoop/yarn/local/usercache/abc/appcache

在这里找到当前的正要执行的job

查看 launch_container.sh         发现:

linux和windows的分隔符(linux为冒号，windows为分号)不一样导致了windows的job在linux无法执行

既然找到了问题，解决就很简单了。

mapred-site.xml

    <property>
      <name>mapreduce.app-submission.cross-platform</name>
      <value>true</value>
    </property>

再尝试下，OK，完美！