eclipse在windows平台上执行map-reduce操作

1.安装

下载hadoop2.8.5源码以及bin文件：

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz 

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5-src.tar.gz 

2. linux上安装hadoop

    百度一下一大堆，例如 https://www.cnblogs.com/timlong/p/9802045.html

3. 安装windows环境

(1)环境变量配置

HADOOP_HOME  D:\linux\hadoop\hadoop-2.8.5

PATH: %HADOOP_HOME%\bin

(2)配置其他环境

hadoop.ddl放在windows/system32目录下

winutils.exe 放在hadoop安装目录D:\linux\hadoop\hadoop-2.8.5\bin下

(3)eclipse配置

eclipse项目文档上需要创建一个包即org.apache.hadoop.io.nativeio，包中放置NativeIO这个类。

源文件： hadoop-2.8.5-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio

修改NativeIO 搜索return access 

    public static boolean access(String path, AccessRight desiredAccess)
        throws IOException {
    	return true;
      //return access0(path, desiredAccess.accessRight());
    }

将return access0注释掉，修改为return true如上代码。

到此执行map-reduce成功。

文件下载：https://download.csdn.net/download/u014172271/11083384