数学建模社区-数学中国

标题: 基于 Spark 的机器学习应用框架研究与实现 [打印本页]
作者: 杨利霞    时间: 2020-11-20 15:08
标题: 基于 Spark 的机器学习应用框架研究与实现
$ H5 O: z5 P* x; b
基于 Spark 的机器学习应用框架研究与实现
- l' V1 [3 ^/ P, R; J# D; u
$ x+ x3 D# V0 e! d3 N* x% t2 `* d+ e$ `' N3 G; h
聚类分析和分类分析是机器学习的重要领域，K-means 算法和随机4 w9 p) ~. Y4 ~" U+ _- S& U! c# P' u
森林算法分别是聚类分析和分类分析中最常用的算法之一。然而，8 h; T. R9 h) \9 ]; \
K-means 算法和随机森林算法都存在一些限制和缺点。K-means 算法中
- ~. `# A& h" x+ r& c的群组数目 K 值需要使用者预先设定，这对使用者提出了较高的要求，( g+ {* ]1 P; m5 u. y
经验不足的使用者设定的 K 值的准确性也存在一定的问题；随机森林算3 `( o) c* f" p: h# y. L6 C
法进行分类决策时，无法区别对待每一棵决策树，导致准确性差的决策/ [* I4 Q3 A4 H9 Q" X/ F8 b
树会影响算法整体的准确性。在实际应用中，待分析的数据集存在各种
# I3 x! {+ D/ s各样的问题。包含较多孤立点的数据集会增加 K-means 算法的迭代次数，7 v/ P5 g' M# e8 E3 N. Q2 _
提高算法的复杂度，降低算法的准确性；对于包含噪声特征和冗余特征
* p) q3 {" N# R! v5 q, D; _4 p; G的数据集，随机森林算法的准确性会受到影响，错误率会提高。上述这
, D  J( k5 f* G( b些问题提高了用户使用 K-means 算法和随机森林算法的难度。  z9 i) t5 o; }+ c  w% o0 H
另一方面，基于分布式计算的机器学习框架得到了广泛应用。然而，
' `( K8 Q, A* d/ k" W0 h现有的机器学习框架受限于机器学习算法自身的限制和缺点，要求用户
8 M6 G' w0 ~5 c/ Y+ b, E9 ^7 q' v进行数据挖掘和分析时，需要掌握足够的机器学习算法知识，导致这些
9 S1 Y+ o" R$ h* y机器学习框架的应用门槛较高。
$ K+ K1 H' \) s& P0 o$ a针对上述问题，本文以实验室承担的某省交通物流云计算平台建设
) f2 a$ I7 V% o8 b; U项目为背景，对聚类分析中的 K-means 算法和分类分析中的随机森林算: l9 f3 p2 q* R( x5 h) c
法以及这两种算法存在的限制和缺点进行了分析，提出了相应的改进算
9 r; j/ Z2 J4 g% V) g( L8 \& \法，设计并实现了一套基于 Spark 的机器学习应用框架。该框架具有自
3 i4 V: U/ s, Y/ S. I适应的数据预处理、算法调优和参数选择，用户无需关注机器学习算法
4 v- U2 y- ]  Q, y+ Q的底层细节等特点。最后，本文通过交通物流领域的应用例子对该框架, j" C5 V$ o6 k+ s  P
I上海交通大学硕士学位论文 摘要% N, a$ G; I6 a' ~0 `! h
进行了验证。
6 Y* t  M! k  }) W与其他同类系统相比，本文工作具有以下特点：
+ a1 L, [1 q% |7 G6 L8 }/ U1) 针对 K-means 算法存在的特征权重不一致、孤立点干扰和群组数
. @. X0 H3 q) j2 s7 c目 K 值设定等问题，本文提出了一种改进的自适应 K-means 算法0 a9 {' G* J6 F
(Adaptive K-means，简称 AKM)。实验结果表明，AKM 算法具有对待分# I' R. e2 r2 }( ^4 {+ `5 Q
析数据集进行规范化处理，对孤立点进行检测和删除，自动化求解群组; u+ m1 `$ S/ S6 Z# t6 l( r4 \
数目 K 值等特点。
9 r# K& }" ~) X% v3 {2 O- A2) 针对随机森林算法存在的噪声特征干扰、冗余特征干扰和分类决4 I) l+ b- B! ]6 E2 h
策投票策略等问题，本文提出了一种改进的自适应随机森林算法$ _% z- y/ G8 X4 o8 ]. }, l3 g
(Adaptive Random Forests，简称 ARF)。实验结果表明，ARF 算法具有删3 o( m) R2 x* b9 @# A, x+ g6 d
除噪声特征和冗余特征，根据具体的问题选择合适的分类决策投票策略
" H0 j8 l. @) N3 N8 o( `' E) V等特点。1 g" ]1 v1 t4 K1 A4 a
3) 在 AKM 算法和 ARF 算法的基础上，设计实现了一套基于 Spark5 [- H( ~% S+ r% Y% q7 }
的机器学习应用框架 AMLF(Adaptive Machine Learning Framework on
" R0 y7 y( I, [# F( e* \* ~Spark)。AMLF 框架具有向用户提供统一的数据访问接口、机器学习模! v- V6 z+ [/ k8 y
型的导入导出、统计和反馈机器学习模型信息等功能。应用情况表明，
4 E2 _0 T, `+ E& t, k& P用户使用 AMLF 框架进行机器学习应用开发时，无需关注机器学习算法
  V) M0 T( `# H; g的底层细节，降低了使用门槛。
. g$ Z- e/ a  |: q! U
' Y/ V1 x3 g* s5 c( F2 J1 }! z) {& f; d2 S6 R# A

基于 Spark 的机器学习应用框架研究与实现.pdf

4.22 MB, 下载次数: 0, 下载积分: 体力 -2 点



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5