大数据商品推荐项目

大数据商品推荐项目

项目介绍：
商品推荐可以根据用户的喜好，年龄，点击量，购买量以及各种购买行为来为用户推荐合适的商品。在本项目中采用的是基于用户的协同过滤的推荐算法来实现商品的推荐并在前台页面进行展示。

使用技术：
MapReduce+HDFS+Hadoop

项目流程：
1.将用户作为自变量，统计每个用户购买的商品，制作为用户购买商品的列表
2.根据第一步，将商品共同出现在同一个用户购买记录里的数据制作为商品的共现关系
3.根基第二步，将共现关系转化为共现矩阵
4.根据原始，以商品作为自变量，计算出每种商品出现在不同用户购物清单里的列表，制为商品的共现向量
5.将第三步与第四步的结果相乘，形成临时的推荐结果
6.将第五步的计算的零散结果进行求和
7.数据去重，在推荐结果中去掉用户已购买的商品信息

核心代码：

第五步，获取第三步与第四步的结果，进行乘法计算

@Override
protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, Text>.Context context)
		throws IOException, InterruptedException {

	String[] split = value.toString().split("\t");
	
	context.write(new Text(split[0]), new Text("A:"+split[1]));
}


@Override
protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, Text>.Context context)
		throws IOException, InterruptedException {
	
	String[] split = value.toString().split("\t");
	
	context.write(new Text(split[0]), new Text("B:"+split[1]));
	
}

@Override
protected void reduce(Text key, Iterable<Text> values, Reducer<Text, Text, Text, Text>.Context context)throws IOException, InterruptedException {
	//提取A部分数据
	String a = "";
	//提取B部分数据
	String b = "";
	
	for(Text t: values){
		String ts = t.toString();
		if(ts.indexOf("A:")!=-1){
			a = ts.replace("A:", "");
		}else if(ts.indexOf("B:")!=-1){
			b = ts.replace("B:", "");
		}
	}//for end
	//a : //10001:1,10003:1,10006:1
	//b : //20001:1,20002:2,20004:1,20005:1,20006:1,20007:3
	
	String[] arra = a.split(",");//a的数组
	String[] arrb = b.split(",");//b的数组
	
	//需要的结果	10001,20001	2
	for(String v1 : arra){//v1 === 10001:1
		String[] v1s = v1.split(":");
		for(String v2 : arrb){//v2 === 20001:1
			String[] v2s = v2.split(":");
			System.out.println("------------"+Arrays.toString(v2s));
			String endKey = v1s[0]+","+v2s[0];
			int endValue = Integer.parseInt(v1s[1])*Integer.parseInt(v2s[1]);
			
			context.write(new Text(endKey), new Text(""+endValue));
		}
	}
}