基于Hadoop的并行FP-Growth算法的研究与实现

作者： 施亮 ; 钱雪忠

摘要： 在PFP(Parallel FP-Growth)算法的基础上提出了一种负载均衡并行的挖掘算法LBPFP(Load-Balanced Parallel FP-Growth)算法,该算法在Hadoop框架实现并行计算的同时,在数据分发中利用负载均衡策略,使主节点均衡地向子节点分配数据.除此之外,在子节点进行数据处理的过程中利用剪枝策略,减少数据的处理量,该算法在提高并行计算能力的同时也大大缩小了数据的处理量.最后,通过实验分析表明该算法在大数据的处理中具有较好的效果,证实了该算法的可行性.

关键字： 关联规则 数据挖掘 负载均衡 FP-Growth 并行计算

---

上一篇：一种基于关系矩阵维度增量式约简算法
下一篇：铁电存储单元单粒子翻转机理仿真研究