基于Spark的主动重叠K-means聚类算法

雩风三日

基于Spark的主动重叠K-means聚类算法

      别大规模数据的潜在模式.但其存在两个问题:多次迭代Master和Worker节点间数据交换，导致算法运行效率低;对初始聚类中心敏感，导致聚类结果不稳定且收敛速度慢.为提高算法运行效率和结果稳定性，提出了一种主动重叠K-means聚类算法.其在各个分区上执行重叠K-mean、算法获得局部聚类中心，将结果汇总回收到Mastc:节点，在Mastc:节点运行重叠K-mean、算法聚合所有聚类中心，作为最终聚类中心;同时采用并行化主动选择策略获得更优的初始簇中心，提高算法准确性、收敛速度.实验结果表明，改进后的主动重叠聚类算法提高了算法准确性，降低了算法运行时间.
$ h' b4 X  c" J
1 Z/ j8 K9 }$ E9 [) T+ O2 u3 z关键词:Spark框架;主动学习;重叠聚类;并行计算
7 G. d. J2 ~# _1 A- P
; _. X3 q9 c# T) H/ T8 K* h( X# z; p