各类机器学习算法的优缺点和适用场景汇总

杨利霞

5 b6 A$ ]. x) P& G2 g各类机器学习算法的优缺点和适用场景汇总
$ A6 e6 O' c- i6 m; _6 l4 o目录
朴素贝叶斯分类器（NB:naive Bayes classifiers）
半朴素贝叶斯分类器（SNB:semi-naive Bayes classifiers）
贝叶斯网（信念网）
决策树（decision tree）
支持向量机（SVM）
, C4 ~6 _! F9 B0 W神经网络
词向量（word2vec）
  e( J( B* h5 E: tk近邻分类（kNN）
( i) n, e# W9 o2 C/ D0 W! y+ O线性模型
3 [) d- R& G; }. {( C高斯混合聚类与k均值（k-means）及其变种（k-means++、ISODATA、Kernel K-means）的对比
4 {* T) k9 K/ |( Q+ D关于学习算法的性能实验结果
朴素贝叶斯分类器（NB:naive Bayes classifiers）
+ [; ^( P8 A, ]% w2 K! N顾名思义，其适用于分类任务、并且假设每个属性独立地对分类结果发生影响，然而现实中各个因素往往并不独立，那是否就无法解决问题呢？
事实上并非如此，相反，朴素贝叶斯分类器在很多情况下都能获得相当好的性能，一种解释是：无需精准概率值即可导致正确分类结果；另一种解释是：若属性间依赖对所有类别影响相同，或依赖关系的影响能相互抵消，则属性条件独立性假设在降低计算开销的同时，不会对性能产生负面影响。

# H3 U! X" X; _) V$ l* B优点：
& r' `8 P5 |: W, B6 S; j1、计算量较小
8 E) K4 \( }- @3 K2、支持懒惰学习、增量学习
3、对缺失数据不太敏感
4、推断即查表，速度极快。
缺点：
1、没有考虑属性间依赖
2、通过类先验概率产生模型
# {4 P0 ^. v- ~  I* q
6 m+ z6 w! Y! m  Z& p" N半朴素贝叶斯分类器（SNB:semi-naive Bayes classifiers）
相比NB的不考虑依赖，SNB则是考虑了一个（独依赖估计策略：ODE）或多个（多依赖估计策略：kDE）属性依赖
优点：
- ]9 L  I. N( j3 S( u/ J! a1、考虑了一个或多个比较强的属性依赖关系，泛化性能可能得到提升
8 f3 k  ~8 P) _. L  z& q3 b) ^6 s2、计算开销不大
$ ]  P- X. ?8 P' f3、同样支持懒惰学习、增量学习
. R2 l& D7 G- [3 T: j7 E1 ?0 i缺点：
+ S2 s- K2 I8 ^8 _  y' g8 u4 C  ^1、通过类先验概率产生模型

4 R, z2 G) X  a$ V6 j, E! Q贝叶斯网（信念网）
贝叶斯网借助有向无环图刻画属性之间的依赖关系，通过吉布斯采样或者变分推断等方式来近似推断后验概率。
6 s% m, e9 \# Y: \; D& Z. Y优点：
' V" ]* I; v7 Y9 R$ G1、更加完整地考虑了属性间依赖关系，泛化性能将进一步提升
2、近似估算后验概率
3、可用于推测属性缺失的样本
4、良好的可解释性
5、常用于语音识别、机器翻译等
缺点：
* d2 S3 d( n1 I7 u' w8 j1、结构学习NP难，通过评分搜索方法缓解
8 w/ x2 r) \0 ]5 v- ]2、推断算法的收敛速度较慢
' q' }, }" J; n! [2 ]  G6 U
决策树（decision tree）
. I8 T" h: e/ L( }, e1 A0 Y决策树通过信息纯度（信息增益、增益率、基尼指数等）来决定结点的生成，通过剪枝来缩小决策树的尺寸以及缓解过拟合。是一种非参数学习算法。
优点：
1、计算量较小
# j2 o7 R) h$ p2、清晰表达属性的重要程度
3、可增量学习对模型进行部分重构
4、不需要任何领域知识和参数假设
; b/ H% r7 u+ m( i% u1 g! s5、适合高维数据
6、随机森林是基于决策树的集成学习策略，随机森林鲜有短板
! s; w) [. V$ j  a/ q缺点：
1、没有考虑属性间依赖
6 w& p8 _7 D" D% w  F+ R2、容易过拟合，通过剪枝缓解
3、不可用于推测属性缺失的样本
$ i6 c& j" ^  X/ Z
支持向量机（SVM）
8 t& {0 X. }+ r% w) H- Y基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开，是一种针对二分类设计的算法，但稍加改造为支持向量回归即可用于回归学习。
优点：
* ?5 P7 a# m$ _7 V4 l# b' |1、可解决小样本的机器学习任务
2、可解决高维问题
5 W/ X% G3 \6 J% J/ k3 C4 ]3、可通过核方法解决非线性问题
' _, I. Y5 T5 q5 k6 h+ c缺点：
6 n4 ^& t& J' S& S8 N( s( a1、对缺失数据敏感
( J# D9 O* {: a0 W6 X0 k2、对于非线性问题，核函数方法选择一直是个未决问题
" b" u4 m- C1 d5 [& B6 }7 ?
) }( N- o- j/ J% N# \# v' B神经网络
2 a* G3 ~% _7 I优点：
6 a" r6 g2 s  R# N4 i" b1、分类的准确度极高
2、可解决复杂的非线性问题
3、对噪声神经有较强的鲁棒性和容错能力
4、并行分布处理能力强,分布存储及学习能力强
; T$ s# i* x8 V- K+ \9 K5、常用于图像识别
6、数据量越大，表现越好
9 z# e1 ~$ v* y. O8 \" F缺点：
& ^1 t4 D5 D' Z' O) d% V1、黑箱模型，难以解释
8 d! o9 j% h, X* U* g  |2、需要初始化以及训练大量参数，如网络结构、权值、阈值，计算复杂
* `/ N, Y7 U0 C1 C* ]3、误差逆传播的损失
! c# g) L$ A, w% S" `4、容易陷入局部最小

* I% s% H1 H: w* t& u! T1 [词向量（word2vec）
将文章的每句话当成一行，将每个词用符号隔开（如使用中文分词工具jieba），根据上下文，可以找出相似词义的词。
# \! U' T+ Q( o比如：我 喜欢 你，我 爱 你，我 讨厌 你。根据上下文我和你，可以找到喜欢的相似词，有爱和讨厌。
2 G9 R, R+ D; Z9 ]. s/ Y; @再一般地如：1 2 3 X 4 5 6，1 2 3 Y 4 5 6。根据上下文1 2 3和4 5 6，可以找到X和Y相似。
) s- [1 J; b2 }  R0 Z  u0 N6 Lgensim是一个很好用的Python NLP的包，不光可以用于使用word2vec，还有很多其他的API可以用。它封装了google的C语言版的word2vec。

k近邻分类（kNN）
" R0 A3 B" c1 D  P1 ^基于某种距离度量找出训练集中与其最靠近的k个训练样本，或者指定距离e之内的训练样本，分类任务中通过投票法（以及加权投票等）将出现最多的类别标记作为预测结果，回归任务中则使用平均法（以及加权平均等）
, g2 [4 z3 P& q' i. w优点：
1、思想简单，易于理解，易于实现，无需估计参数，无需训练；
. X9 r  Y* B* r5 V. D2、适合对稀有事件进行分类；
3、特别适用于多分类问题
缺点：
1、需要计算出待测样本与所有样本的距离，计算量大
+ Q6 v% b: K( J( t4 R8 B2、样本不平衡时影响大
- I& E, d: x) ^1 B  d3、适用的特征维度低

0 t- m/ F# t& N4 B3 @* N线性模型
8 ]6 M: ]# d9 x0 t优点：
1、算法简单，编程方便
2、计算简单，决策速度快
8 Y! [3 ~) ]7 r0 {3 M* y- {缺点：
! e0 m% r2 e4 U# R5 P1、拟合效果较差

高斯混合聚类与k均值（k-means）及其变种（k-means++、ISODATA、Kernel K-means）的对比
k-means是高斯混合聚类在混合成分方差相等、且每个样本仅指派给一个混合成分时的特例，因此k-means计算简单，但效果不如高斯混合聚类
由于计算太过复杂，高斯混合聚类并不常用，推荐使用k-means++（与k-means随机选定不同，k-means++初始选定的几个样本距离尽量远，这样能更快得出分簇结果）等k-means变种。

关于学习算法的性能实验结果
点击查看原文
1 y0 s' f) y( U5 t. ]+ F. L. Z
' D, e* m7 a$ j) {" T14年的时候有人做过一个实验[1]，比较在不同数据集上（121个），不同的分类器（179个）的实际效果。
论文题为：Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
没有最好的分类器，只有最合适的分类器。
! O' e- p7 Y2 c  b) ~/ d1、随机森林平均来说最强，但也只在9.9%的数据集上拿到了第一，优点是鲜有短板。
2、SVM的平均水平紧随其后，在10.7%的数据集上拿到第一。
3、神经网络（13.2%）和boosting（~9%）表现不错。
4、数据维度越高，随机森林就比AdaBoost强越多，但是整体不及SVM[2]。
5、数据量越大，神经网络就越强。
2 m( I8 p2 v$ |2 I8 A, e" E4 q————————————————
版权声明：本文为CSDN博主「路飞的纯白世界」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
# J3 E! @2 K/ I! Y. F原文链接：https://blog.csdn.net/u010921136/article/details/90668382


3 `8 v- ^; G2 [* Z0 z2 u