Windows下idea中实现Hadoop本地测试功能

0. 目标

1. Hadoop默认没有windows版本
2. Hadoop集群部署在Linux虚拟机上,
3. 通过idea编写的MR代码和输入文件要打包jar发送给Linux
4. 为便于测试MR代码是否正确, 希望在idea上运行MR

1. 解压hadoop到windows硬盘中

https://blog.csdn.net/wxfghy/article/details/80450469
windows7下java代码从远程hadoop服务上下载文件

2. idea中写入MR代码

将之前写过的wordcount写入Idea
https://blog.csdn.net/wxfghy/article/details/80490867

3. 导入本地hadoop文件夹中各组件jar

1. 进入Project Structure
   
2. 选择Modules
3. 选中Dependencies, 点击添加, 选择JARs or directories…选项
4. 添加本地hadoop目录中以下的文件夹

~\hadoop-2.9.0\share\hadoop\common
~\hadoop-2.9.0\share\hadoop\hdfs
~\hadoop-2.9.0\share\hadoop\yarn
~\hadoop-2.9.0\share\hadoop\mapreduce
~\hadoop-2.9.0\share\hadoop\common\lib

4. 将当前项目打包生成jar

1. 在Project Structure中选择Artifacts
2. 添加JAR, 选择空Empty, 名称自定义
3. 选中Output Layout, 将当前项目打包, jar文件所在路径自定义
4. 回到idea主界面, 选择Build下Build Artifacts, 开始Build生成jar文件

5. 添加Application配置项目运行参数

1. 通过Edit Configurations…进入Run/Debug Configurations配置界面
   
2. 添加Application, 名称自定义
3. Main class输入org.apache.hadoop.util.RunJar
4. Working directory默认当前项目所在工作目录,检查是否错误
5. Program arguments输入以下内容
   
   1. 第一行为项目打包的jar路径
   2. 第二行为主方法所在类路径