各类机器学习算法的优缺点和适用场景汇总

杨利霞

各类机器学习算法的优缺点和适用场景汇总
' i) e' \+ k% Z& w9 I, t3 ]# k% o目录
* W+ @# c. w( D; P朴素贝叶斯分类器（NB:naive Bayes classifiers）
4 T+ ^9 \7 Z# o/ i半朴素贝叶斯分类器（SNB:semi-naive Bayes classifiers）
贝叶斯网（信念网）
( l, A0 c" L% P决策树（decision tree）
8 ?4 C1 h# ?9 N( k/ t8 J9 b支持向量机（SVM）
! p; F& M4 \  C, c8 K/ m神经网络
2 Z  E4 T0 B& G2 E( N8 |6 D7 M词向量（word2vec）
k近邻分类（kNN）
线性模型
" @; {% S0 p# {' [) w# ?0 d高斯混合聚类与k均值（k-means）及其变种（k-means++、ISODATA、Kernel K-means）的对比
关于学习算法的性能实验结果
! u3 ?+ q( h! S, o& F: ]. F) G朴素贝叶斯分类器（NB:naive Bayes classifiers）
顾名思义，其适用于分类任务、并且假设每个属性独立地对分类结果发生影响，然而现实中各个因素往往并不独立，那是否就无法解决问题呢？
" d; e! y9 W9 J9 J$ ~/ {' |$ i- b- W事实上并非如此，相反，朴素贝叶斯分类器在很多情况下都能获得相当好的性能，一种解释是：无需精准概率值即可导致正确分类结果；另一种解释是：若属性间依赖对所有类别影响相同，或依赖关系的影响能相互抵消，则属性条件独立性假设在降低计算开销的同时，不会对性能产生负面影响。

优点：
3 f4 i/ `. h' b1、计算量较小
2、支持懒惰学习、增量学习
. `: X) o1 S, l3、对缺失数据不太敏感
4、推断即查表，速度极快。
) N" }8 q4 n* n- r1 [$ r" ]. H4 A缺点：
1、没有考虑属性间依赖
2、通过类先验概率产生模型
+ `* z8 U, x0 ]+ B
半朴素贝叶斯分类器（SNB:semi-naive Bayes classifiers）
3 `8 K$ [% @/ A+ N$ _' ?相比NB的不考虑依赖，SNB则是考虑了一个（独依赖估计策略：ODE）或多个（多依赖估计策略：kDE）属性依赖
7 z- ~) m% x% k: }! H优点：
0 p; W+ w2 g0 \& q" t7 `! x1、考虑了一个或多个比较强的属性依赖关系，泛化性能可能得到提升
& y, ~0 r* h4 h" f. p3 P8 C2、计算开销不大
3、同样支持懒惰学习、增量学习
缺点：
1、通过类先验概率产生模型

5 L5 i, O2 e4 f9 u) R贝叶斯网（信念网）
贝叶斯网借助有向无环图刻画属性之间的依赖关系，通过吉布斯采样或者变分推断等方式来近似推断后验概率。
优点：
1、更加完整地考虑了属性间依赖关系，泛化性能将进一步提升
9 Q% o& u" _/ S. T  l6 ]2、近似估算后验概率
% d4 e3 J7 U3 r3 }) |# T3、可用于推测属性缺失的样本
3 V+ x1 R2 i2 n( |4、良好的可解释性
5、常用于语音识别、机器翻译等
5 y2 j" Y! L6 J* f9 M缺点：
$ s% A" X7 ~9 H4 Z  S# _1、结构学习NP难，通过评分搜索方法缓解
; h, d: @1 b" \) F; P, f4 b/ q& E2、推断算法的收敛速度较慢
: o- h: S7 m8 n4 O' W  `* ?
决策树（decision tree）
8 x# m$ F+ Z$ [: x/ k* H- w决策树通过信息纯度（信息增益、增益率、基尼指数等）来决定结点的生成，通过剪枝来缩小决策树的尺寸以及缓解过拟合。是一种非参数学习算法。
优点：
0 `& M. [- o' U' l1、计算量较小
2、清晰表达属性的重要程度
3、可增量学习对模型进行部分重构
% n$ V- O- M9 P7 A. [! c4、不需要任何领域知识和参数假设
5、适合高维数据
6、随机森林是基于决策树的集成学习策略，随机森林鲜有短板
缺点：
1、没有考虑属性间依赖
: P: q$ H4 E* P" ]8 S3 t2、容易过拟合，通过剪枝缓解
& n1 f" |3 e) y; A3 W7 k0 V7 `3、不可用于推测属性缺失的样本
* Y7 e* e- U$ x7 M& [
: t, A: |, \2 c9 S  P支持向量机（SVM）
+ t! l- b+ c; v% F. y! b基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开，是一种针对二分类设计的算法，但稍加改造为支持向量回归即可用于回归学习。
优点：
1、可解决小样本的机器学习任务
) n  u2 Q1 }4 f( q# O+ D2、可解决高维问题
( \. G# ?* L* Q+ Q+ Y) v3、可通过核方法解决非线性问题
缺点：
1、对缺失数据敏感
2、对于非线性问题，核函数方法选择一直是个未决问题

* R9 w  N4 D0 S3 A0 S0 Y神经网络
6 o6 w' X, ?  k( l' U% g4 |4 }优点：
1、分类的准确度极高
2、可解决复杂的非线性问题
3、对噪声神经有较强的鲁棒性和容错能力
$ h, r& T: A! {4、并行分布处理能力强,分布存储及学习能力强
0 u- h. k+ h, o5、常用于图像识别
, I( q" y( N& m3 d' B6、数据量越大，表现越好
缺点：
/ M' c# w7 k$ y0 e3 ?, e1、黑箱模型，难以解释
( r+ k5 c( r/ r* A2、需要初始化以及训练大量参数，如网络结构、权值、阈值，计算复杂
3、误差逆传播的损失
& |. ]) c0 N  g5 S& W' Y8 L9 U4、容易陷入局部最小

词向量（word2vec）
# Z/ A) m" a( q& X  G. t. t将文章的每句话当成一行，将每个词用符号隔开（如使用中文分词工具jieba），根据上下文，可以找出相似词义的词。
比如：我 喜欢 你，我 爱 你，我 讨厌 你。根据上下文我和你，可以找到喜欢的相似词，有爱和讨厌。
再一般地如：1 2 3 X 4 5 6，1 2 3 Y 4 5 6。根据上下文1 2 3和4 5 6，可以找到X和Y相似。
gensim是一个很好用的Python NLP的包，不光可以用于使用word2vec，还有很多其他的API可以用。它封装了google的C语言版的word2vec。

k近邻分类（kNN）
基于某种距离度量找出训练集中与其最靠近的k个训练样本，或者指定距离e之内的训练样本，分类任务中通过投票法（以及加权投票等）将出现最多的类别标记作为预测结果，回归任务中则使用平均法（以及加权平均等）
" ?3 w3 ]4 p9 g& I/ G1 a优点：
1、思想简单，易于理解，易于实现，无需估计参数，无需训练；
2、适合对稀有事件进行分类；
( k6 p( T# w2 x3、特别适用于多分类问题
缺点：
1、需要计算出待测样本与所有样本的距离，计算量大
4 k2 B$ \3 ^# B; o2、样本不平衡时影响大
6 m4 w+ K6 P* }3、适用的特征维度低
1 k5 W4 G0 b- I6 k
: V( G- [- ]- W+ a9 Q) R6 M* ]: W线性模型
优点：
6 l" \9 O) z# `* a1、算法简单，编程方便
2、计算简单，决策速度快
* C9 v2 j0 a: s9 e  ?( V; b! H  h( w& G缺点：
  o& c$ P8 A: a- Y- p1、拟合效果较差
- v+ \+ y* P0 z" Q3 Z4 u6 s* _
高斯混合聚类与k均值（k-means）及其变种（k-means++、ISODATA、Kernel K-means）的对比
k-means是高斯混合聚类在混合成分方差相等、且每个样本仅指派给一个混合成分时的特例，因此k-means计算简单，但效果不如高斯混合聚类
由于计算太过复杂，高斯混合聚类并不常用，推荐使用k-means++（与k-means随机选定不同，k-means++初始选定的几个样本距离尽量远，这样能更快得出分簇结果）等k-means变种。
& X2 r, m  u4 {
关于学习算法的性能实验结果
点击查看原文
- {6 K) X9 p$ z. X+ N2 V* n
2 e" b+ Y6 [" Q( ]. ~14年的时候有人做过一个实验[1]，比较在不同数据集上（121个），不同的分类器（179个）的实际效果。
论文题为：Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
$ B$ ?- [/ A' z: l3 |6 [  I没有最好的分类器，只有最合适的分类器。
1、随机森林平均来说最强，但也只在9.9%的数据集上拿到了第一，优点是鲜有短板。
2、SVM的平均水平紧随其后，在10.7%的数据集上拿到第一。
9 Q6 z: F- L- }0 v3、神经网络（13.2%）和boosting（~9%）表现不错。
4、数据维度越高，随机森林就比AdaBoost强越多，但是整体不及SVM[2]。
' i  \/ h  r+ p6 E" [5、数据量越大，神经网络就越强。
————————————————
版权声明：本文为CSDN博主「路飞的纯白世界」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u010921136/article/details/90668382
) V" O1 J9 G3 l0 ~' i3 }  p
0 J& B$ `. e$ f3 K& o+ _9 C
3 J/ n/ t! }6 k6 I+ `