问题需求：现在有某社交网络中的记录每个用户的好友的数据集，数据的具体格式如下所示，冒号前为用户的代号，冒号后面为该用户的好友的代号，好友之间以逗号分隔。现在需求是根据此数据集，求出任意两个人之间的共同好友都有谁（好友关系是单向的，也就是说A的好友里面有E，但是E的好友里面不一定有A）。例如可以很明显的看出 A，B用户的共同好友有：C和E；A，C用户的共同好友有：D和F；
原始数据：
A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J
使用MapReduce对这个问题进行处理的时候可以通过两个MapReduce任务完成这个需求：
1、对原始数据进行反转解析，找出都有谁的好友里面有该用户；例如对于原始 A:B,C,D,F,E,O 数据，通过在map task中解析成 < B, A>< C, A>< D,A>< F,A>…的形式，这一系列的键值对表示所有代号为key值的用户，他的好友里面都有value值代表的用户。然后对这些键值对在reduce task中对key值相同的键值对（< A, B>< A, D>< A, F>…）进行拼接，拼接成< A B,D,F, …>的形式作为第一次MapReduce任务的输出。
上图为第一次MapReduce的输出，以其中的第一行数据（A F,D,O,I,H,B,K,G,C,）为例，这一行数据的含义是：F,D,O,I,H,B,K,G,C 这些用户的好友里面都有A。即分隔符后面的所有用户的好友里面都有分隔符前面的用户。
2、根据第一次MapReduce的输出结果，我们可以很容易的想到，只要把分隔符后面的用户两两任意组合，就可以得到这两个用户的一个共同好友。以第一行数据为例，拆分之后可以得到：< F-D , A>, < F-O , A>, < F-I , A> … < D-O , A>,< D-I , A> …然后我们再在reduce task中按照相同的key值对键值对进行拼接，就得到了整个数据集中任意两个用户之间的共同好友的列表。
以下为两次MapReduce的实现代码
- Step 1：
package com;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import java.io.IOException;
public class FindCommonFriendsStep1 {
public static class FindCommonFriendsStep1Mapper extends Mapper<LongWritable, Text, Text, Text> {
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString(); //获取Mapper端的输入值
String[] userAndfriends = line.split(":");
String user = userAndfriends[0]; //获取输入值中的用户名称
String[] friends = userAndfriends[1].split(","); //获取输入值中的好友列表
for (String friend : friends) {
context.write(new Text(friend), new Text(user)); //以<B,A><C,A><D,A><F,A>...的格式输出
}
}
}
public static class FindCommonFriendsStep1Reducer extends Reducer<Text, Text, Text, Text> {
public void reduce(Text friend, Iterable<Text> users, Context context) throws IOException, InterruptedException {
StringBuffer sb = new StringBuffer();
for (Text user : users) {
sb.append(user).append(","); //对键值相同的键值对<A,B><A,D><A,F>...进行拼接
}
context.write(friend, new Text(sb.toString())); //以<A B,D,F, ...>的形式写入到HDFS上，作为中间结果，注意中间是以制表符（\t）分隔开
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); //获取参数
if (otherArgs.length < 2) {
System.err.println("error");
System.exit(2); //如果获取到的参数少于两个，报错之后退出作业
}
Job job = Job.getInstance(conf, "find common friends step1");
job.setJarByClass(FindCommonFriendsStep1.class); //加载处理主类
job.setMapperClass(FindCommonFriendsStep1Mapper.class); //指定Mapper类
job.setReducerClass(FindCommonFriendsStep1Reducer.class); //指定Reducer类
job.setOutputKeyClass(Text.class); //指定Reducer输出键的类型
job.setOutputValueClass(Text.class); //指定Reducer输出值的类型
for (int i = 0; i < otherArgs.length - 1; ++i) {
FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
}
FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
- Step 2：
package com;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import java.io.IOException;
import java.util.Arrays;
public class FindCommonFriendsStep2 {
public static class FindCommonFriendsStep2Mapper extends Mapper<LongWritable, Text, Text, Text> {
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
String[] friendAndusers = line.split("\t");
String friend = friendAndusers[0];
String[] users = friendAndusers[1].split(",");
Arrays.sort(users); // 下面的循环实现了对分隔符之后的任意两个用户的拼接，并作为新的key值生成键值对
for (int i = 0; i < users.length - 2; i++) {
for (int j = i + 1; j < users.length - 1; j++) {
context.write(new Text("[" + users[i] + "-" + users[j] + "]:"), new Text(friend));
}
}
}
}
public static class FindCommonFriendsStep2Reducer extends Reducer<Text, Text, Text, Text> {
public void reduce(Text user, Iterable<Text> friends, Context context) throws IOException, InterruptedException {
StringBuffer sb = new StringBuffer();
for (Text friend : friends) {
sb.append(friend).append(","); //对key值相同的键值对进行拼接
}
context.write(user, new Text(sb.toString()));
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length < 2) {
System.err.println("error");
System.exit(2);
}
Job job = Job.getInstance(conf, "find common friends step2");
job.setJarByClass(FindCommonFriendsStep2.class);
job.setMapperClass(FindCommonFriendsStep2Mapper.class);
job.setReducerClass(FindCommonFriendsStep2Reducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
for (int i = 0; i < otherArgs.length - 1; ++i) {
FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
}
FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length - 1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}