Spark下FP-Growth

一旦建立了FP树之后就可以不断递归挖掘K频繁项集,对于Hadoop就会产生多次IO操作,严重影响程序运行效率,而Spark这种弹性式内存计算框架可以将中间输出和结果保存在内存中,不需要重复读写HDFS,所以Spark能更好地适用于数据挖掘需要递归的Map-Reduce算法。

Spark下FP-Growth
        在spark下部署FP-growth算法的主要思路分为五步,涉及三步MR。

        第一步:计算F_list,也就是计算所有item的support,这一步可以通过MD得到,实质和WordCount一样。

        第二步:数据分组,将F_list中的条目分成G个组,就形成了一个Group_list,这其中每一个Group都包含一组item的集合。

        第三步:并行执行FP-growth,这步和上面所说的普通FP-growth是一样的,只是需要MR来完成。这一步中mapper完成的主要功能是数据集分区,逐个处理数据分区中的事务,将事务分为item,每个item根据Group_list映射到合适的group中去,然后在reduce中并行执行FP-growth算法。

        第四步:聚合,这一步将各台机器上的结果聚合成最终的结果。这一步也需要MR来完成,将各台机器上的频繁项集聚合在一起,并计算支持度。

猜你喜欢

转载自blog.csdn.net/answer3lin/article/details/84528793
今日推荐