[其他资源] 基于Spark的FP_Growth算法的并行与优化.pdf

[复制链接]

字体大小: 正常放大

1047521767

1158 主题	15 听众	1万积分

TA的每日心情

	开心 2023-7-31 10:17

签到天数: 198 天

[LV.7]常住居民III

自我介绍: 数学中国浅夏

电梯直达

1^#

发表于 2022-7-12 17:58 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

PFP_Growth算法是FP_Growth算法在Hadoop平台上基于MapReduce的并行化，该算法在分组过程中没有考虑负载均衡问题，导致各个节点完成任务时间不一致，甚至相差很大，从而降低了算法的执行效率。为了提高算法的执行效率，提出了一种基于Spark的RPFP算法，该算法对PFP_Growth算法在均衡分组和降低时间复杂度两方面进行优化，通过把负载大的项放在负载总和最小的组里面实现均衡分组，通过在链头表结构中加入一张哈希表达到快速访问元素地址的目的，从而降低时间复杂度。实验结果表明，RPFP通过优化PFP算法，有效提高了频繁项集的挖掘效率。