! i! U/ K7 X2 g8 k" j2 _贝叶斯网(信念网)( r5 Y- ~/ B M6 ?3 {3 ~
贝叶斯网借助有向无环图刻画属性之间的依赖关系,通过吉布斯采样或者变分推断等方式来近似推断后验概率。 ! }1 G; z) h$ [! l优点:# z* ?8 B' L* D& K2 Q X5 |
1、更加完整地考虑了属性间依赖关系,泛化性能将进一步提升) _5 q& t$ Q5 I* y
2、近似估算后验概率( g. _, q$ S* T
3、可用于推测属性缺失的样本 3 `) J& ? K1 n2 H) Z6 K) \6 a4、良好的可解释性3 b, g( q! u* N" B8 w
5、常用于语音识别、机器翻译等 0 y+ \! e' N+ z* o* ?4 ^/ N缺点:% Q. g9 [ h: C, j$ [6 X& v
1、结构学习NP难,通过评分搜索方法缓解) o# v% [( b3 C) f U+ f
2、推断算法的收敛速度较慢, ^6 d6 I0 l$ Z. T4 N0 q2 Y
! C5 h4 r7 O1 _+ s% }决策树(decision tree)$ L' C/ ~/ b4 w; }
决策树通过信息纯度(信息增益、增益率、基尼指数等)来决定结点的生成,通过剪枝来缩小决策树的尺寸以及缓解过拟合。是一种非参数学习算法。 & g1 g3 {6 I/ n j5 H优点:7 R: @) d+ I, A- A& D
1、计算量较小 % R! u: A3 p2 _ M7 r2、清晰表达属性的重要程度4 o# G' k4 r3 ^; M: Z; f% c
3、可增量学习对模型进行部分重构9 L" M8 x ]; {! s# D7 w# \
4、不需要任何领域知识和参数假设9 m' b$ K+ X4 n6 F# [ R
5、适合高维数据" B( [" ^0 @+ r3 ]- F$ z3 S" \) L- `( j
6、随机森林是基于决策树的集成学习策略,随机森林鲜有短板# _, k5 n4 o, ~( @7 a& u/ w
缺点: 2 c" i9 a, N; R) D2 U1、没有考虑属性间依赖0 O% Z* g7 E* ^! m6 @- v/ w
2、容易过拟合,通过剪枝缓解 4 r' [, A% ~# m2 s3、不可用于推测属性缺失的样本1 M* y% v) }0 V* G% G/ g2 Z' M6 m; o
/ A6 ^, W6 k/ H" k+ z$ q' y; @支持向量机(SVM) 9 U1 z2 ~: }. q基于训练集D在样本空间中找到一个划分超平面,将不同类别的样本分开,是一种针对二分类设计的算法,但稍加改造为支持向量回归即可用于回归学习。 / g9 K+ O( @4 @+ k优点:" h' S1 q. c6 ?6 k
1、可解决小样本的机器学习任务 6 X* ~( M3 L( p6 b2、可解决高维问题- u7 c. ~: Y1 O( i
3、可通过核方法解决非线性问题+ G: v" K4 K% C* R! g' s! G
缺点: }3 U4 Z. P; `0 {: F$ ~
1、对缺失数据敏感 # b4 `5 v2 R8 m8 B- N7 ]- y! s2、对于非线性问题,核函数方法选择一直是个未决问题 # c. g) V8 `, U1 y& k ; {1 f* p% }5 P* @神经网络 ; ~5 K" f8 w# Z优点: / u8 h: X& u8 r8 ], q1、分类的准确度极高 % v& s4 F/ Z0 P! b1 ^$ G1 t2、可解决复杂的非线性问题' G, |" u. W# | J' G3 i. X; ^
3、对噪声神经有较强的鲁棒性和容错能力- z9 L) X" L/ l( D
4、并行分布处理能力强,分布存储及学习能力强 * s6 [7 `& J2 J5、常用于图像识别( }- S" x/ c1 O: m$ l! T
6、数据量越大,表现越好 4 j' V4 m. O- X5 e1 K) J缺点:2 q" o# C' L- {& A4 u: A1 \4 g
1、黑箱模型,难以解释 ) |( j, ^* Q: R2、需要初始化以及训练大量参数,如网络结构、权值、阈值,计算复杂# i* o5 m. l) L! U! z
3、误差逆传播的损失 ( V4 i: l/ Q6 @4、容易陷入局部最小1 V+ b9 d. a: @! B7 l. N
: v7 K0 J: g( G6 ]9 u- {" J/ Z
词向量(word2vec) ! p. Y: P b" N. I将文章的每句话当成一行,将每个词用符号隔开(如使用中文分词工具jieba),根据上下文,可以找出相似词义的词。( N. m% n [; J! L. f; Z3 z& c
比如:我 喜欢 你,我 爱 你,我 讨厌 你。根据上下文我和你,可以找到喜欢的相似词,有爱和讨厌。2 \. ? ?1 h4 f8 @0 D# g
再一般地如:1 2 3 X 4 5 6,1 2 3 Y 4 5 6。根据上下文1 2 3和4 5 6,可以找到X和Y相似。5 ?; G0 N( B+ y. t& |4 N
gensim是一个很好用的Python NLP的包,不光可以用于使用word2vec,还有很多其他的API可以用。它封装了google的C语言版的word2vec。' N7 D2 ?! W! `; y9 R
' Q8 l O$ p Y! G, K, y
k近邻分类(kNN) % k3 A) E- j1 j4 I/ W, e. u基于某种距离度量找出训练集中与其最靠近的k个训练样本,或者指定距离e之内的训练样本,分类任务中通过投票法(以及加权投票等)将出现最多的类别标记作为预测结果,回归任务中则使用平均法(以及加权平均等) & X# }$ s% p1 R3 b; R, |优点: / n1 D- Y+ i! }) f f1、思想简单,易于理解,易于实现,无需估计参数,无需训练; 6 N. y9 [& k% Q( y1 Q2、适合对稀有事件进行分类;& O6 L7 x# d2 Y' _! J) I
3、特别适用于多分类问题, P; X$ \) S4 S1 r7 A# L8 N
缺点:4 [" c% O$ h6 J% w. b
1、需要计算出待测样本与所有样本的距离,计算量大3 f. F3 {: H# _4 S8 B
2、样本不平衡时影响大 4 a) i/ r! F, t) w0 A3、适用的特征维度低9 h! G1 I' t, T% B$ H
0 X/ B! _; v8 U/ m
线性模型6 Y" h# i/ V9 F E) Q/ @, ^
优点: $ b! c4 C% ]* V3 o1 p) q4 o1、算法简单,编程方便2 x0 X b& b) P$ E: g" K
2、计算简单,决策速度快 3 x5 s8 m+ g6 n: W% |. \缺点:9 O$ f* Q. n' n4 m r( Q
1、拟合效果较差* Q) k5 p. p" z7 X( ^: G
8 Y6 S8 }$ ~+ }. X ?8 ~高斯混合聚类与k均值(k-means)及其变种(k-means++、ISODATA、Kernel K-means)的对比0 }# R6 E! N* b& q0 y
k-means是高斯混合聚类在混合成分方差相等、且每个样本仅指派给一个混合成分时的特例,因此k-means计算简单,但效果不如高斯混合聚类& r" b' Q: a3 q3 N, Y. c% T
由于计算太过复杂,高斯混合聚类并不常用,推荐使用k-means++(与k-means随机选定不同,k-means++初始选定的几个样本距离尽量远,这样能更快得出分簇结果)等k-means变种。- E8 {7 [: g+ b) b* {; |' a
: a/ v- [/ y1 c* r- Z关于学习算法的性能实验结果( M* {. X1 s% l# |' I' S/ V/ \3 d
点击查看原文 5 H6 ?1 R4 M# {/ Z; ^+ w4 _' V/ V7 k( E6 w& E9 S% L
14年的时候有人做过一个实验[1],比较在不同数据集上(121个),不同的分类器(179个)的实际效果。 , J; _! z: |$ Z7 W* j% K, o论文题为:Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?: s! \- ?& p4 T7 y, [ ^1 }
没有最好的分类器,只有最合适的分类器。- v+ C7 n' z6 f+ W
1、随机森林平均来说最强,但也只在9.9%的数据集上拿到了第一,优点是鲜有短板。5 K8 E- V$ w2 ^9 i, m# o
2、SVM的平均水平紧随其后,在10.7%的数据集上拿到第一。 : B' q- d7 T" g+ Y: j3、神经网络(13.2%)和boosting(~9%)表现不错。5 g; q* J' H- r5 N( t! g
4、数据维度越高,随机森林就比AdaBoost强越多,但是整体不及SVM[2]。+ z2 x' t/ B* F
5、数据量越大,神经网络就越强。 7 ^4 q6 f1 n2 V————————————————( u# u. J2 @- ^1 d) ?
版权声明:本文为CSDN博主「路飞的纯白世界」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 $ T; E* h* A$ k0 S4 z: \/ k' I原文链接:https://blog.csdn.net/u010921136/article/details/90668382! X; X; i8 z7 t. y( Z# c
; [9 \' I9 {% Q) ?- b, E 5 r4 F5 f, Z% } c# R3 G3 C