测试《Hadoop权威指南》第二章的天气例子
环境;win10,JDK1.8,Intellij idea,hadoop2.7.2
1.下载Hadoop包
2.打开IDEA新建Java项目
3.项目配置 File —- Project Structure
(1)首先注意SDK的正确配置,使用JDK1.8
(2)加入hadoop的jar依赖包
(3)打包配置
4.编写map-reduce代码
(1)Mapper
负责预处理文件,准备数据
(2)reducer
处理数据
(3) main()
5.配置编译器
注意:第三个框里只需添入输入路径和输出路径即可
6、将数据导入到你的程序中
注意:不要创建output目录,系统会自动创建。否则会报目录已存在的错。
simple.txt
7.运行
出错:
缺少hadoop.dll和winutils.exe
hadoop.2.7.2的hadoop.dll和winutils.exe下载后,粘贴在hadoop-2.7.2/bin目录下
运行成功:
output目录下有输出的结果文件
output\part-r-00000.txt