各类机器学习算法的优缺点和适用场景汇总

杨利霞

各类机器学习算法的优缺点和适用场景汇总
目录
朴素贝叶斯分类器（NB:naive Bayes classifiers）
3 F! [( B8 ]3 C' [. q1 |5 D7 s半朴素贝叶斯分类器（SNB:semi-naive Bayes classifiers）
) [3 \1 l2 `/ V; e2 u( i贝叶斯网（信念网）
决策树（decision tree）
支持向量机（SVM）
神经网络
' V0 P: F: d. o2 X  K2 z. l词向量（word2vec）
k近邻分类（kNN）
' B$ w3 h* Z* ^2 V) v9 T6 H线性模型
高斯混合聚类与k均值（k-means）及其变种（k-means++、ISODATA、Kernel K-means）的对比
9 x5 i* G+ |# U! n. Y关于学习算法的性能实验结果
朴素贝叶斯分类器（NB:naive Bayes classifiers）
& S8 u  I# G7 J! {- y$ n顾名思义，其适用于分类任务、并且假设每个属性独立地对分类结果发生影响，然而现实中各个因素往往并不独立，那是否就无法解决问题呢？
事实上并非如此，相反，朴素贝叶斯分类器在很多情况下都能获得相当好的性能，一种解释是：无需精准概率值即可导致正确分类结果；另一种解释是：若属性间依赖对所有类别影响相同，或依赖关系的影响能相互抵消，则属性条件独立性假设在降低计算开销的同时，不会对性能产生负面影响。
( v' M5 F8 }% |* T# l6 ]5 z( a" L
优点：
1、计算量较小
. U7 Q$ {* B! w% j" _2、支持懒惰学习、增量学习
3、对缺失数据不太敏感
4、推断即查表，速度极快。
5 d" k- N0 i; q- H缺点：
1 C8 h( |3 U) q' W7 D1 j1、没有考虑属性间依赖
2、通过类先验概率产生模型

半朴素贝叶斯分类器（SNB:semi-naive Bayes classifiers）
相比NB的不考虑依赖，SNB则是考虑了一个（独依赖估计策略：ODE）或多个（多依赖估计策略：kDE）属性依赖
优点：
1、考虑了一个或多个比较强的属性依赖关系，泛化性能可能得到提升
6 F" Z$ B0 T4 [% o  l& J' R2、计算开销不大
3、同样支持懒惰学习、增量学习
1 R. y9 q& M, O" ?" |, ~$ I缺点：
1、通过类先验概率产生模型
  u5 S, O( r& K1 m) a8 A. M
贝叶斯网（信念网）
* ^! n: K$ E; n) o$ g3 f7 O5 Q贝叶斯网借助有向无环图刻画属性之间的依赖关系，通过吉布斯采样或者变分推断等方式来近似推断后验概率。
优点：
1、更加完整地考虑了属性间依赖关系，泛化性能将进一步提升
1 L8 E7 I2 f9 I$ R/ T5 ~4 P2、近似估算后验概率
3、可用于推测属性缺失的样本
) H4 ~( t( ^# U4 {0 r- ^6 Q" T: t4、良好的可解释性
5、常用于语音识别、机器翻译等
) }% g0 G' ?* x4 p缺点：
8 v8 c" C) n  A4 E% Z+ ^6 I1、结构学习NP难，通过评分搜索方法缓解
$ r$ t% @1 M9 T: f* s2 i9 T2、推断算法的收敛速度较慢
2 ~% r# d% p: V- c
8 j/ ^+ \6 f4 a, t) W" X" E决策树（decision tree）
# s0 p- R! t# k+ v$ f" Z9 e8 L2 T决策树通过信息纯度（信息增益、增益率、基尼指数等）来决定结点的生成，通过剪枝来缩小决策树的尺寸以及缓解过拟合。是一种非参数学习算法。
# d& V& I& M0 a% {- h  t( n优点：
1、计算量较小
2、清晰表达属性的重要程度
+ l, g: ?1 ]0 d4 u3、可增量学习对模型进行部分重构
8 c4 Q7 d4 E) a% S# S4、不需要任何领域知识和参数假设
5、适合高维数据
6、随机森林是基于决策树的集成学习策略，随机森林鲜有短板
缺点：
$ ~4 I! a- t8 S4 N3 y: P, B3 N+ [1、没有考虑属性间依赖
% v# @+ N8 t& n2、容易过拟合，通过剪枝缓解
3、不可用于推测属性缺失的样本
& J+ K2 r8 H- D1 Z
$ }1 n6 e$ ^1 x, E' R. u. e8 M支持向量机（SVM）
基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开，是一种针对二分类设计的算法，但稍加改造为支持向量回归即可用于回归学习。
1 @% D* X1 b3 ~: z- a优点：
1、可解决小样本的机器学习任务
2、可解决高维问题
  m. F8 b0 A" G3、可通过核方法解决非线性问题
缺点：
4 `8 m8 v) t: g3 x# |1、对缺失数据敏感
, l9 r) E! \" \  P2 U7 Y! v5 Z2、对于非线性问题，核函数方法选择一直是个未决问题
* j5 m) p- t* x3 E; W0 _7 W) ?
神经网络
) t/ y" B( m# d2 T2 \0 f优点：
: W# c, @2 t) s5 ~1、分类的准确度极高
2、可解决复杂的非线性问题
3、对噪声神经有较强的鲁棒性和容错能力
2 b2 x) m/ ~- N4、并行分布处理能力强,分布存储及学习能力强
; d( _+ x2 p# P5、常用于图像识别
6、数据量越大，表现越好
缺点：
1、黑箱模型，难以解释
) _0 r- L  f6 ~3 e. N2、需要初始化以及训练大量参数，如网络结构、权值、阈值，计算复杂
3、误差逆传播的损失
8 A/ A' k/ p9 X- N! ]' n/ T4、容易陷入局部最小
. d; @( K% ^" D' p
$ c" }% w4 |, f: g0 }8 M9 }词向量（word2vec）
将文章的每句话当成一行，将每个词用符号隔开（如使用中文分词工具jieba），根据上下文，可以找出相似词义的词。
- U( s! i  J) i3 ^比如：我 喜欢 你，我 爱 你，我 讨厌 你。根据上下文我和你，可以找到喜欢的相似词，有爱和讨厌。
  j- y: z+ j! _8 h6 ]7 F再一般地如：1 2 3 X 4 5 6，1 2 3 Y 4 5 6。根据上下文1 2 3和4 5 6，可以找到X和Y相似。
* m, D; k' [. X9 ^gensim是一个很好用的Python NLP的包，不光可以用于使用word2vec，还有很多其他的API可以用。它封装了google的C语言版的word2vec。

" V" M6 b3 u( kk近邻分类（kNN）
* b% k* x- H- s3 D7 Y7 Q: u3 Q4 s基于某种距离度量找出训练集中与其最靠近的k个训练样本，或者指定距离e之内的训练样本，分类任务中通过投票法（以及加权投票等）将出现最多的类别标记作为预测结果，回归任务中则使用平均法（以及加权平均等）
% m# V3 o3 \0 f9 L, @$ Y/ u% \优点：
; x5 F+ o9 v0 p, Z* d1、思想简单，易于理解，易于实现，无需估计参数，无需训练；
# f+ B" O! u5 |- J% Y6 u2、适合对稀有事件进行分类；
4 x# T( t7 S4 r) o% g; ~- G3、特别适用于多分类问题
缺点：
* p& J1 D& _  N; a( q' S3 z1、需要计算出待测样本与所有样本的距离，计算量大
2、样本不平衡时影响大
2 k- y) h1 T5 @: R- P1 J3、适用的特征维度低
* A  U7 G, E- a* X
线性模型
优点：
$ s+ o$ ?4 i% d# G, ]3 U1、算法简单，编程方便
6 I! |- [) s+ B; z2、计算简单，决策速度快
缺点：
6 i" A. T* W  {5 L0 S6 e1、拟合效果较差

高斯混合聚类与k均值（k-means）及其变种（k-means++、ISODATA、Kernel K-means）的对比
' N4 y0 }* Z" ^% lk-means是高斯混合聚类在混合成分方差相等、且每个样本仅指派给一个混合成分时的特例，因此k-means计算简单，但效果不如高斯混合聚类
2 g  `0 Z/ y% ~4 X) M& I+ d  M4 `由于计算太过复杂，高斯混合聚类并不常用，推荐使用k-means++（与k-means随机选定不同，k-means++初始选定的几个样本距离尽量远，这样能更快得出分簇结果）等k-means变种。
) Z) O, l7 R2 U, N
关于学习算法的性能实验结果
1 S% H- Y2 ?. V  A, c2 u" Y点击查看原文

14年的时候有人做过一个实验[1]，比较在不同数据集上（121个），不同的分类器（179个）的实际效果。
论文题为：Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
) f3 e7 t" y! \" b5 }5 g没有最好的分类器，只有最合适的分类器。
1、随机森林平均来说最强，但也只在9.9%的数据集上拿到了第一，优点是鲜有短板。
; ?3 }- h2 ^* X" m+ F7 i4 A/ l. l2、SVM的平均水平紧随其后，在10.7%的数据集上拿到第一。
3、神经网络（13.2%）和boosting（~9%）表现不错。
4、数据维度越高，随机森林就比AdaBoost强越多，但是整体不及SVM[2]。
( `, v( N( s0 X. P5、数据量越大，神经网络就越强。
: Q7 u2 K0 F3 Y————————————————
版权声明：本文为CSDN博主「路飞的纯白世界」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
0 e7 h% _8 Q9 a' F2 Q! A% `1 s原文链接：https://blog.csdn.net/u010921136/article/details/90668382


' {& ?7 t7 S( c8 Q/ [