各类机器学习算法的优缺点和适用场景汇总

杨利霞

. Z% G% y' d- ]各类机器学习算法的优缺点和适用场景汇总
目录
朴素贝叶斯分类器（NB:naive Bayes classifiers）
半朴素贝叶斯分类器（SNB:semi-naive Bayes classifiers）
贝叶斯网（信念网）
决策树（decision tree）
9 `8 s7 B& w0 U  m2 Z支持向量机（SVM）
神经网络
* I0 W7 j$ F8 a" w! z词向量（word2vec）
k近邻分类（kNN）
  u8 v. q1 U, t$ ?. U线性模型
高斯混合聚类与k均值（k-means）及其变种（k-means++、ISODATA、Kernel K-means）的对比
关于学习算法的性能实验结果
朴素贝叶斯分类器（NB:naive Bayes classifiers）
顾名思义，其适用于分类任务、并且假设每个属性独立地对分类结果发生影响，然而现实中各个因素往往并不独立，那是否就无法解决问题呢？
* z4 _9 V& j% h9 A, f事实上并非如此，相反，朴素贝叶斯分类器在很多情况下都能获得相当好的性能，一种解释是：无需精准概率值即可导致正确分类结果；另一种解释是：若属性间依赖对所有类别影响相同，或依赖关系的影响能相互抵消，则属性条件独立性假设在降低计算开销的同时，不会对性能产生负面影响。

# a, x, y, e2 ^4 g5 x9 e% ^优点：
1、计算量较小
2、支持懒惰学习、增量学习
3、对缺失数据不太敏感
4、推断即查表，速度极快。
8 S2 N: ?$ r5 q$ C4 v缺点：
1、没有考虑属性间依赖
2、通过类先验概率产生模型
; e5 c  I4 m- s6 m
半朴素贝叶斯分类器（SNB:semi-naive Bayes classifiers）
, u$ y7 N! k# a- t% W6 j相比NB的不考虑依赖，SNB则是考虑了一个（独依赖估计策略：ODE）或多个（多依赖估计策略：kDE）属性依赖
) K% V" h. c8 i* n; [% Q优点：
6 o6 D8 J1 n- |6 g1、考虑了一个或多个比较强的属性依赖关系，泛化性能可能得到提升
3 _9 P0 E" ]% o2、计算开销不大
4 h: `. t1 G* R: E$ Y3、同样支持懒惰学习、增量学习
( W" @8 P* I# e! x2 m% ]. @! _缺点：
9 k8 I# \6 |* C+ q. n4 f9 N1、通过类先验概率产生模型
$ S) z, O( w1 a% j& v/ Q
4 T8 _, o$ u, T& m2 V  H7 S贝叶斯网（信念网）
贝叶斯网借助有向无环图刻画属性之间的依赖关系，通过吉布斯采样或者变分推断等方式来近似推断后验概率。
3 e0 i6 }" ~7 b$ z; C* l* O1 |优点：
1、更加完整地考虑了属性间依赖关系，泛化性能将进一步提升
4 l' N* E- E2 Q# r; l3 ~2、近似估算后验概率
' ~) D, Q  k8 x' N: O0 i3、可用于推测属性缺失的样本
4、良好的可解释性
+ Z' b+ x4 b( e  @! ?5、常用于语音识别、机器翻译等
; x6 n  \* R0 M8 e8 R, B3 R; o缺点：
  ]: E+ K& G8 j& y; l3 B1、结构学习NP难，通过评分搜索方法缓解
2、推断算法的收敛速度较慢

+ `" N+ f3 c! m+ a; U决策树（decision tree）
) C, }3 w: h; R+ \* r# p! ~5 A, B4 ^决策树通过信息纯度（信息增益、增益率、基尼指数等）来决定结点的生成，通过剪枝来缩小决策树的尺寸以及缓解过拟合。是一种非参数学习算法。
  b9 W% v, w6 X2 a  p9 i优点：
1、计算量较小
. Q$ O( d* ~. X" L$ n5 d. Y' h; s2、清晰表达属性的重要程度
3、可增量学习对模型进行部分重构
4、不需要任何领域知识和参数假设
5、适合高维数据
$ D) j# r4 W0 D$ X8 k6、随机森林是基于决策树的集成学习策略，随机森林鲜有短板
缺点：
1、没有考虑属性间依赖
' |- P+ E9 e* T% T5 P2、容易过拟合，通过剪枝缓解
; f, X( k$ X. M7 A: C0 M. R3、不可用于推测属性缺失的样本

支持向量机（SVM）
基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开，是一种针对二分类设计的算法，但稍加改造为支持向量回归即可用于回归学习。
优点：
6 u; M# z$ u6 q/ y1、可解决小样本的机器学习任务
' K/ U, }- i& T, S" T; O- N* D6 _2、可解决高维问题
3、可通过核方法解决非线性问题
% o# B8 w0 j/ o. j9 w% b缺点：
  S8 n! \1 P3 A0 a9 c& S. D$ j1、对缺失数据敏感
2、对于非线性问题，核函数方法选择一直是个未决问题

/ s; u$ ?( R. n# v神经网络
) z/ ]9 x7 P. N& P* k1 ~2 k7 w优点：
5 k& c( E" ~# h0 t. y1、分类的准确度极高
2、可解决复杂的非线性问题
& `7 u" ]$ e- S- D' v3、对噪声神经有较强的鲁棒性和容错能力
  O( v  N2 U( h4、并行分布处理能力强,分布存储及学习能力强
5、常用于图像识别
! Y0 Z% [0 z" l* E: f, d  q$ f6、数据量越大，表现越好
缺点：
1、黑箱模型，难以解释
2、需要初始化以及训练大量参数，如网络结构、权值、阈值，计算复杂
3、误差逆传播的损失
- G; D& l' l- g: P" P5 u2 G4、容易陷入局部最小

词向量（word2vec）
" H, h6 w7 }$ N8 C将文章的每句话当成一行，将每个词用符号隔开（如使用中文分词工具jieba），根据上下文，可以找出相似词义的词。
比如：我 喜欢 你，我 爱 你，我 讨厌 你。根据上下文我和你，可以找到喜欢的相似词，有爱和讨厌。
6 a1 z$ m( S% O5 A再一般地如：1 2 3 X 4 5 6，1 2 3 Y 4 5 6。根据上下文1 2 3和4 5 6，可以找到X和Y相似。
1 i6 C% y8 X6 S& xgensim是一个很好用的Python NLP的包，不光可以用于使用word2vec，还有很多其他的API可以用。它封装了google的C语言版的word2vec。
: y$ o0 w5 J7 @. U
k近邻分类（kNN）
; `: {0 [* T+ ~8 P3 X基于某种距离度量找出训练集中与其最靠近的k个训练样本，或者指定距离e之内的训练样本，分类任务中通过投票法（以及加权投票等）将出现最多的类别标记作为预测结果，回归任务中则使用平均法（以及加权平均等）
优点：
+ s5 j; b; o" ^, s1、思想简单，易于理解，易于实现，无需估计参数，无需训练；
# H5 y5 Z, W7 y7 i2、适合对稀有事件进行分类；
3、特别适用于多分类问题
缺点：
' ]+ X7 Y# |4 N1 U* O1、需要计算出待测样本与所有样本的距离，计算量大
. R* ~" K( j; y* ?# ~5 f; ?# s2、样本不平衡时影响大
5 K( G* @9 x" r3、适用的特征维度低
3 }3 {$ }# n. T+ I
线性模型
优点：
: ~( f% A1 T7 z# h3 J- F" Y1 U3 O1、算法简单，编程方便
2、计算简单，决策速度快
缺点：
. m/ X7 I. |: s7 L1、拟合效果较差
# E. p" _  \- U
高斯混合聚类与k均值（k-means）及其变种（k-means++、ISODATA、Kernel K-means）的对比
k-means是高斯混合聚类在混合成分方差相等、且每个样本仅指派给一个混合成分时的特例，因此k-means计算简单，但效果不如高斯混合聚类
) Q4 g+ H+ G+ d  L+ L  y: ?由于计算太过复杂，高斯混合聚类并不常用，推荐使用k-means++（与k-means随机选定不同，k-means++初始选定的几个样本距离尽量远，这样能更快得出分簇结果）等k-means变种。
# r3 T/ H/ p) U0 |5 x" ?2 p; a
关于学习算法的性能实验结果
9 i& R2 y6 g  \& _5 N' s点击查看原文
) s! n1 P3 @  S0 I3 K" a3 B
$ g1 E# t+ n- D- o: m14年的时候有人做过一个实验[1]，比较在不同数据集上（121个），不同的分类器（179个）的实际效果。
$ G. d  ^9 f, T  k  i* e3 k8 {论文题为：Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
没有最好的分类器，只有最合适的分类器。
6 ~; j+ v; w9 A9 O1、随机森林平均来说最强，但也只在9.9%的数据集上拿到了第一，优点是鲜有短板。
2、SVM的平均水平紧随其后，在10.7%的数据集上拿到第一。
8 q9 X0 t, w0 y# |3、神经网络（13.2%）和boosting（~9%）表现不错。
6 D/ w" g, E' }; }4 ]) ~4、数据维度越高，随机森林就比AdaBoost强越多，但是整体不及SVM[2]。
$ j1 U* S9 G7 R% o5、数据量越大，神经网络就越强。
0 [& @3 l# i- f3 i# \; q3 p. J8 o————————————————
版权声明：本文为CSDN博主「路飞的纯白世界」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u010921136/article/details/90668382
+ Q$ X; M' U: @  ^. I8 b