Hadoop学习3-Macbook环境在IDEA中编写MapReduce程序
新建一个Maven项目
不用说了,普通的Maven项目就行。
加入Hadoop依赖
其中的${hadoop.version}对应自己使用的Hadoop版本
- hadoop-client
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
- log4j
<!-- https://mvnrepository.com/artifact/log4j/log4j -->
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
log4j的配置文件放到resources下面,名为log4j.properties。
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n
- 要想使Maven打成的jar包,可以直接拿到namenode上用hadoop jar 命令跑,需要在Maven中加一个插件
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>1.2.1</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<transformers>
<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
<!--程序入口类,main方法类-->
<mainClass>com.caohui.hadoop.mapreduce.Main</mainClass>
</transformer>
</transformers>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
加入hadoop配置文件
将namenode下面的hadoop的以下几个配置文件拷贝到resources中,一个都不能少,否则会报错。
- core-site.xml
- hdfs-site.xml
- mapred-site.xml
- yarn-site.xml
编写测试MapReduce程序
测试程序非常简单,如下文件price.txt
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
杭州 1
杭州 2
杭州 1
杭州 2
杭州 1
杭州 2
杭州 1
统计这个文件中北京的数字之和和杭州的数字之和。
- HousePriceMapper.java
package com.caohui.hadoop.mapreduce;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
public class HousePriceMapper extends Mapper<LongWritable, Text, Text, Text> {
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String item = value.toString();
String[] items = item.split(" ");
if (items.length >= 2) {
context.write(new Text(items[0]), new Text(items[1]));
}
}
}
- HousePriceReducer.java
package com.caohui.hadoop.mapreduce;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
public class HousePriceReducer extends Reducer<Text, Text, Text, Text> {
@Override
protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
int sum = 0;
for (Text i : values) {
sum += Integer.parseInt(i.toString());
}
context.write(key, new Text(String.valueOf(sum)));
}
}
- Main.java
package com.caohui.hadoop.mapreduce;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class Main {
public static void main(String[] args) throws Exception {
Configuration configuration = new Configuration(true);
Job job = Job.getInstance(configuration, "House Price");
// 为了在本地跑mapReduce程序方便,这里job.setJar要设置成Maven打包的路径
job.setJar("./target/hadoop-1.0-SNAPSHOT.jar");
// 放到nameNode下执行时要把上面一句改成下面这句!!不然找不到target文件夹,会报错。
//job.setJarByClass(Main.class);
job.setMapperClass(HousePriceMapper.class);
job.setReducerClass(HousePriceReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
FileInputFormat.addInputPath(job, new Path("hdfs://namenode:9000/price.txt"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://namenode:9000/output"));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
开启完全分布式hadoop
本地打包-运行
先用maven将项目打包,打的包在target下面。然后运行main函数。等一小会儿,运行成功。
运行结果:
北京 18
杭州 12