windows环境下调试MR任务

版权声明：本文为博主原创文章，未经博主允许不得转载。博客地址:http://www.fanlegefan.com/ https://blog.csdn.net/woloqun/article/details/81518134

1.首先在windows环境配置HADOOP_HOME
2.下载hadoop.dll和winutils.exe文件，并放到$HADOOP_HOME/bin目录下
下载地址：https://github.com/rucyang/hadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64
3.修改org.apache.hadoop.io.nativeio.NativeIO，将这个类中的access方法返回true,这个类可以去官方源码中找

public static boolean access(String path, AccessRight desiredAccess)
      throws IOException {
     return true;
     // return access0(path, desiredAccess.accessRight());
}

4.增加log4j.properties
这个在网下随便下一个就OK，不配置的话，没有任何日志输出

5.修改hdfs写目录权限，因为使用windows提交任务，所以使用的用户名是当前windows的用户，有可能在hdfs目录上没有读写权限，通常我直接把需要操作的目录权限改成777

hadoop fs -chmod -R 777 /test

6.将远程hadoop的core-site.xml和hdfs-site.xml复制到项目中去