指路一些MapReduce的小案例

本文只做分享

指路一些我从网上看到的一些不错的MapReduce小案例

• MapReduce之WordCount词频统计：https://blog.csdn.net/weixin_44947339/article/details/105032772

• MapReduce处理数据去重与数据排序：https://blog.csdn.net/u010366796/article/details/44589239

• MapReduce实现自定义类：https://www.cnblogs.com/DarrenChan/p/6445764.html

• MapReduce运行结果保存到MySQL中：Hadoop项目实战之将MapReduce的结果写入到Mysql

• MapReduce实现矩阵相乘：MapReduce实现矩阵乘法

我们可以看到MapReduce的编程实现十分的简洁，只需要把精力分别聚焦于map函数中的输入键值对和输出键值对的对应实现、reduce函数中的输入键值对和输出键值对的对应实现，就能跑起一个MapReduce程序。这得益于MapReduce是一个分布式的并行编程框架，它为我们实现了很多如分布式存储、工作调度、负载均衡、容错处理、网络通信等分布式底层细节，使得我们只需要去关心计算过程，实现具体的map和reduce函数。