基于Spark的主动重叠K-means聚类算法

雩风三日

基于Spark的主动重叠K-means聚类算法
: T- f4 M( D! v
* M6 b( T4 v; R* j      别大规模数据的潜在模式.但其存在两个问题:多次迭代Master和Worker节点间数据交换，导致算法运行效率低;对初始聚类中心敏感，导致聚类结果不稳定且收敛速度慢.为提高算法运行效率和结果稳定性，提出了一种主动重叠K-means聚类算法.其在各个分区上执行重叠K-mean、算法获得局部聚类中心，将结果汇总回收到Mastc:节点，在Mastc:节点运行重叠K-mean、算法聚合所有聚类中心，作为最终聚类中心;同时采用并行化主动选择策略获得更优的初始簇中心，提高算法准确性、收敛速度.实验结果表明，改进后的主动重叠聚类算法提高了算法准确性，降低了算法运行时间.

9 B9 C) N; O' z+ r关键词:Spark框架;主动学习;重叠聚类;并行计算
2 Y6 f' {. ?& m& Z
" {) L/ I" X6 h# @% ~& t! {7 H