各类机器学习算法的优缺点和适用场景汇总

杨利霞

/ D  M$ ^& |  A* I各类机器学习算法的优缺点和适用场景汇总
目录
3 r, ^7 h1 ^% x! `朴素贝叶斯分类器（NB:naive Bayes classifiers）
半朴素贝叶斯分类器（SNB:semi-naive Bayes classifiers）
$ [8 H9 a0 k# Z3 J7 u! ]贝叶斯网（信念网）
决策树（decision tree）
支持向量机（SVM）
神经网络
2 ?- I' j# Q5 j* {* t5 x) p# ]$ E# E词向量（word2vec）
k近邻分类（kNN）
2 U- \! e6 f. U' \9 y线性模型
+ W3 m" z) z# |1 I7 L: M  B" T高斯混合聚类与k均值（k-means）及其变种（k-means++、ISODATA、Kernel K-means）的对比
, g* P& h- q4 }关于学习算法的性能实验结果
& n; V5 s. k3 U# ^朴素贝叶斯分类器（NB:naive Bayes classifiers）
顾名思义，其适用于分类任务、并且假设每个属性独立地对分类结果发生影响，然而现实中各个因素往往并不独立，那是否就无法解决问题呢？
事实上并非如此，相反，朴素贝叶斯分类器在很多情况下都能获得相当好的性能，一种解释是：无需精准概率值即可导致正确分类结果；另一种解释是：若属性间依赖对所有类别影响相同，或依赖关系的影响能相互抵消，则属性条件独立性假设在降低计算开销的同时，不会对性能产生负面影响。

优点：
1、计算量较小
2、支持懒惰学习、增量学习
; w# S. T$ @7 S3、对缺失数据不太敏感
4、推断即查表，速度极快。
  B; ]& S, d) R- G4 n# Y# p缺点：
1、没有考虑属性间依赖
6 i$ R9 H4 i' i9 t) h2、通过类先验概率产生模型
! t/ q/ C5 r7 c% q$ P0 c2 m$ e' h
半朴素贝叶斯分类器（SNB:semi-naive Bayes classifiers）
0 r; n0 R2 U) D: N, C# \5 {, ^  s相比NB的不考虑依赖，SNB则是考虑了一个（独依赖估计策略：ODE）或多个（多依赖估计策略：kDE）属性依赖
3 S% l$ V' v% E. Z0 P2 p) e优点：
1、考虑了一个或多个比较强的属性依赖关系，泛化性能可能得到提升
2、计算开销不大
* S% ^5 y4 \7 b- l" b  V1 b3、同样支持懒惰学习、增量学习
. A% U) _1 \- s' a( A! C缺点：
1、通过类先验概率产生模型

贝叶斯网（信念网）
贝叶斯网借助有向无环图刻画属性之间的依赖关系，通过吉布斯采样或者变分推断等方式来近似推断后验概率。
3 E$ ~  U& u# ?5 v% ]优点：
2 p6 `3 p$ x* P- H( u1、更加完整地考虑了属性间依赖关系，泛化性能将进一步提升
# N1 a8 z4 @" C* v2、近似估算后验概率
3、可用于推测属性缺失的样本
6 ^( l( `( @+ @. \* m4、良好的可解释性
, J0 R  M4 |+ N5、常用于语音识别、机器翻译等
4 W3 r: x! W9 E缺点：
, [3 A; W& I. W# R1、结构学习NP难，通过评分搜索方法缓解
2、推断算法的收敛速度较慢
3 V6 O4 w6 s9 O2 H1 w
; o9 |/ u' z( W8 m" e决策树（decision tree）
决策树通过信息纯度（信息增益、增益率、基尼指数等）来决定结点的生成，通过剪枝来缩小决策树的尺寸以及缓解过拟合。是一种非参数学习算法。
$ v  @9 W) p4 j+ _) i优点：
1、计算量较小
( |- b, ?& h2 R& o% b5 E! H* N2、清晰表达属性的重要程度
$ G! _8 h0 m7 V* C) X% ~: I! v3、可增量学习对模型进行部分重构
4、不需要任何领域知识和参数假设
4 q) ~7 \9 V) X) _) r5、适合高维数据
6、随机森林是基于决策树的集成学习策略，随机森林鲜有短板
缺点：
3 V2 A1 q/ t  R$ q" l' G1、没有考虑属性间依赖
$ o" f6 p8 K) s9 u, g9 X2、容易过拟合，通过剪枝缓解
# y) M1 w; t6 q) }% {) G" f& \3、不可用于推测属性缺失的样本
2 ~- k" S0 L8 }  v, O6 D
支持向量机（SVM）
基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开，是一种针对二分类设计的算法，但稍加改造为支持向量回归即可用于回归学习。
优点：
1、可解决小样本的机器学习任务
2、可解决高维问题
- s8 v/ x% Z. l) U. Y3、可通过核方法解决非线性问题
缺点：
# H' b3 A+ y. `2 C6 ]1、对缺失数据敏感
) P' u5 P6 x7 U+ |5 Q4 X2、对于非线性问题，核函数方法选择一直是个未决问题
% k8 w" x! S" u' x! ]& s
神经网络
优点：
8 X  l4 n4 }5 h( v4 W! P- y1、分类的准确度极高
2、可解决复杂的非线性问题
; F5 ~4 L3 E3 T3 j; d3、对噪声神经有较强的鲁棒性和容错能力
. m2 C8 ~; r- J) H5 b% W& _* s, k4、并行分布处理能力强,分布存储及学习能力强
5、常用于图像识别
6、数据量越大，表现越好
缺点：
1、黑箱模型，难以解释
2、需要初始化以及训练大量参数，如网络结构、权值、阈值，计算复杂
) }8 L) F8 k7 d; M5 |4 w3、误差逆传播的损失
! N6 u" X* L% r" t4、容易陷入局部最小
8 T3 {/ \/ p: v+ x8 v4 K" V; P( j
词向量（word2vec）
将文章的每句话当成一行，将每个词用符号隔开（如使用中文分词工具jieba），根据上下文，可以找出相似词义的词。
比如：我 喜欢 你，我 爱 你，我 讨厌 你。根据上下文我和你，可以找到喜欢的相似词，有爱和讨厌。
再一般地如：1 2 3 X 4 5 6，1 2 3 Y 4 5 6。根据上下文1 2 3和4 5 6，可以找到X和Y相似。
* A# K1 j. G" h8 Agensim是一个很好用的Python NLP的包，不光可以用于使用word2vec，还有很多其他的API可以用。它封装了google的C语言版的word2vec。
4 K) g. R2 h0 R- w& \9 p
k近邻分类（kNN）
6 i2 {0 @1 _# I/ B* r6 X' z4 a5 n基于某种距离度量找出训练集中与其最靠近的k个训练样本，或者指定距离e之内的训练样本，分类任务中通过投票法（以及加权投票等）将出现最多的类别标记作为预测结果，回归任务中则使用平均法（以及加权平均等）
优点：
1、思想简单，易于理解，易于实现，无需估计参数，无需训练；
2、适合对稀有事件进行分类；
* H* @: _3 [& K& r3、特别适用于多分类问题
* F6 `) k" X# j+ D缺点：
. e% t' v" k( Q9 ^1、需要计算出待测样本与所有样本的距离，计算量大
2、样本不平衡时影响大
5 f+ g( e* W* n8 B+ W  Y; e3、适用的特征维度低

- L2 M! l0 J. M线性模型
/ w2 u+ ]4 D4 D( d优点：
1、算法简单，编程方便
* T& f: s- ]' |! D! _$ c2、计算简单，决策速度快
缺点：
1、拟合效果较差
! s5 B3 u, P' z+ R, e
高斯混合聚类与k均值（k-means）及其变种（k-means++、ISODATA、Kernel K-means）的对比
k-means是高斯混合聚类在混合成分方差相等、且每个样本仅指派给一个混合成分时的特例，因此k-means计算简单，但效果不如高斯混合聚类
由于计算太过复杂，高斯混合聚类并不常用，推荐使用k-means++（与k-means随机选定不同，k-means++初始选定的几个样本距离尽量远，这样能更快得出分簇结果）等k-means变种。
" h9 O, @' X2 L( A  r- x6 N
  g+ i3 ^+ Q3 }1 i' \' L$ ~关于学习算法的性能实验结果
点击查看原文
& d" ~; b5 T3 z" n% M; e4 V& E1 V
14年的时候有人做过一个实验[1]，比较在不同数据集上（121个），不同的分类器（179个）的实际效果。
& m- w: P' V& v5 ]1 A( s论文题为：Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
没有最好的分类器，只有最合适的分类器。
1、随机森林平均来说最强，但也只在9.9%的数据集上拿到了第一，优点是鲜有短板。
& o& A% R! N" z7 P; O2、SVM的平均水平紧随其后，在10.7%的数据集上拿到第一。
' ^% q, H6 C" k3、神经网络（13.2%）和boosting（~9%）表现不错。
4、数据维度越高，随机森林就比AdaBoost强越多，但是整体不及SVM[2]。
; w; L" D: z0 T9 L9 R5、数据量越大，神经网络就越强。
6 b2 ?+ Y! r  \# S4 e  r' w————————————————
$ h# N/ h, z: _) q1 a! M版权声明：本文为CSDN博主「路飞的纯白世界」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u010921136/article/details/90668382

9 S" y% W5 v& Z- j