MapReduce实现单词统计

 mapreduce实现思路:

Map阶段:

a) HDFS的源数据文件中逐行读取数据

b) 将每一行数据切分出单词

c) 为每一个单词构造一个键值对(单词,1)

d) 将键值对发送给reduce

Reduce阶段

a) 接收map阶段输出的单词键值对

b) 将相同单词的键值对汇聚成一组

c) 对每一组,遍历组中的所有“值”,累加求和,即得到每一个单词的总次数

d) (单词,总次数)输出到HDFS的文件中

代码实现:

导入包:

Map端:

Reduce端:

主函数:

猜你喜欢

转载自www.cnblogs.com/dummyly/p/10078335.html