- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 563399 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 174243
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
3 S6 C( `- W+ t- J% p3 ?
各类机器学习算法的优缺点和适用场景汇总0 z+ b' N2 ]3 W6 i6 ?. A1 r
目录3 w" a) A8 L! Z* ~
朴素贝叶斯分类器(NB:naive Bayes classifiers)
F- [: e) L2 r0 E/ I半朴素贝叶斯分类器(SNB:semi-naive Bayes classifiers)
1 y( H0 }( ?$ Q0 v& V7 p贝叶斯网(信念网)1 m# t/ T* D1 k5 I4 a& G G
决策树(decision tree)! W7 ?9 N/ R$ |. ?. B6 D/ i
支持向量机(SVM)
7 D ~1 p& F* e9 M神经网络
2 B! z2 V6 Y0 O1 M7 x0 l词向量(word2vec)/ |, ~8 M' y+ s, _" b
k近邻分类(kNN)
: I2 j8 ?3 Y9 P2 c线性模型
0 I) N$ \+ g; D高斯混合聚类与k均值(k-means)及其变种(k-means++、ISODATA、Kernel K-means)的对比# Y5 ~" U- |( ^! ~
关于学习算法的性能实验结果! B; c9 [0 s& R" \( o) i4 g7 s
朴素贝叶斯分类器(NB:naive Bayes classifiers)# h- S0 K* T5 H
顾名思义,其适用于分类任务、并且假设每个属性独立地对分类结果发生影响,然而现实中各个因素往往并不独立,那是否就无法解决问题呢?8 m2 g' \5 H7 V; O% X/ s" d8 p Y
事实上并非如此,相反,朴素贝叶斯分类器在很多情况下都能获得相当好的性能,一种解释是:无需精准概率值即可导致正确分类结果;另一种解释是:若属性间依赖对所有类别影响相同,或依赖关系的影响能相互抵消,则属性条件独立性假设在降低计算开销的同时,不会对性能产生负面影响。
, q; x3 O3 c0 u" Q
' {$ o9 i8 B3 r2 D( M9 J优点:
- T2 b4 }$ ^5 d- q1、计算量较小
+ q; Q6 Z2 t! C; k Q/ e5 `# V2、支持懒惰学习、增量学习- X% t* A! } ?; i$ x/ t
3、对缺失数据不太敏感
+ y9 h4 m- N m+ G/ H4、推断即查表,速度极快。
2 @) j/ n' K2 Y; u2 ^, O. `' P缺点:: g7 W& p; v |
1、没有考虑属性间依赖
5 C0 c( M L! y* q' K; b- }! F2、通过类先验概率产生模型
7 u! x* \9 H) l. ]
, F+ p' r& O# t* F; p' U半朴素贝叶斯分类器(SNB:semi-naive Bayes classifiers)5 B1 h4 ^2 V/ L# ?. L) T6 w
相比NB的不考虑依赖,SNB则是考虑了一个(独依赖估计策略:ODE)或多个(多依赖估计策略:kDE)属性依赖
* i. R8 A( n9 y; E优点: X3 r: f( [" P) ^8 s) D4 h0 A
1、考虑了一个或多个比较强的属性依赖关系,泛化性能可能得到提升$ O, W, v1 D( d. r: o/ X
2、计算开销不大
6 ~. S+ u1 H0 O3 K* v6 ?3、同样支持懒惰学习、增量学习
5 J5 f: v0 |; A" V, V5 ^缺点:# R% n. V1 j- r& e. s( I
1、通过类先验概率产生模型
4 s( A, m3 _9 a/ Q9 E
: h) k0 m8 P- S3 ^+ W贝叶斯网(信念网)
9 M( l0 R; D; q# K. p& g贝叶斯网借助有向无环图刻画属性之间的依赖关系,通过吉布斯采样或者变分推断等方式来近似推断后验概率。
3 j; x, B6 z$ O优点:% Q: V/ M# Y" N9 }
1、更加完整地考虑了属性间依赖关系,泛化性能将进一步提升+ i0 L4 w0 M6 z5 Q& O
2、近似估算后验概率
7 T8 ?7 G7 \0 B0 F4 _3、可用于推测属性缺失的样本
; m, E# N& a; O5 q6 O9 B- {4、良好的可解释性
0 [8 `3 A$ W7 W# _3 ^) p* |4 g. F5、常用于语音识别、机器翻译等
- B7 X2 t$ r* T/ ]0 v缺点:2 D& C2 v$ `3 j6 m2 @: ]
1、结构学习NP难,通过评分搜索方法缓解9 n( k% B+ g3 o& e' Z' |
2、推断算法的收敛速度较慢
% [# F8 E/ j8 v; _- Q
$ `: m ?) G: j决策树(decision tree)9 x% J5 [; x8 L
决策树通过信息纯度(信息增益、增益率、基尼指数等)来决定结点的生成,通过剪枝来缩小决策树的尺寸以及缓解过拟合。是一种非参数学习算法。# s j0 |. `5 j
优点: _: u7 ?. Y9 M- F4 T
1、计算量较小0 X ]* G5 j7 g% [9 w# U
2、清晰表达属性的重要程度
" [6 Z2 z4 _0 _: l6 Y- U$ B3、可增量学习对模型进行部分重构$ \) G* j& l/ s9 q1 e+ o- f
4、不需要任何领域知识和参数假设0 z' s: X V }6 `6 B
5、适合高维数据3 {/ C' M) o0 \3 q
6、随机森林是基于决策树的集成学习策略,随机森林鲜有短板
/ s8 i" ]4 @2 u' K6 `缺点:
4 o Q7 g7 c8 g; f/ l6 ?8 F5 q3 S1、没有考虑属性间依赖 H' x9 ]7 T) ]' F1 H- N' l
2、容易过拟合,通过剪枝缓解: b; r# s1 N( S+ A. }5 M: |
3、不可用于推测属性缺失的样本
& e$ y+ X# \2 Y4 U9 v. k+ F) U# R0 U
% f2 n5 s, I, {' l. `- B. v- W. `) B* m支持向量机(SVM)
! J" i. }0 f# T基于训练集D在样本空间中找到一个划分超平面,将不同类别的样本分开,是一种针对二分类设计的算法,但稍加改造为支持向量回归即可用于回归学习。
2 r4 V: q- d8 n H! V优点:
0 _% ^' n( F" e! ?6 {, M- I, D1、可解决小样本的机器学习任务/ e2 R j- U/ A8 g
2、可解决高维问题. _: T$ p2 c4 z# D [, Z9 @1 Y v
3、可通过核方法解决非线性问题
# t2 f/ V7 r4 W1 f3 |- F9 P缺点:
+ T1 {: z6 s. N1、对缺失数据敏感
8 b- e+ D' L, y2、对于非线性问题,核函数方法选择一直是个未决问题 X+ `+ m; a. m. e7 e7 e5 z
4 C+ C" U4 d9 J7 X" y神经网络
0 `7 m; X# P$ f优点:
1 ]9 @4 ^. G' W* G1、分类的准确度极高
/ @5 u* _, I4 m- l2、可解决复杂的非线性问题
) G/ T; R8 n7 D3 r* M |% v. b" N* h3、对噪声神经有较强的鲁棒性和容错能力/ K- ^4 r: V) K t2 u* q8 @' k
4、并行分布处理能力强,分布存储及学习能力强) x" C8 g6 t: O7 D6 P |
5、常用于图像识别
8 O1 _" _9 `* z# q- V0 ?2 w' L6、数据量越大,表现越好& s2 R$ e/ M% K, P) R/ O2 E3 Y
缺点:
& O0 n" G7 ?' Z9 a8 a6 D# M1、黑箱模型,难以解释
2 Y, m0 N/ p+ O$ S8 i2、需要初始化以及训练大量参数,如网络结构、权值、阈值,计算复杂: a( y- B8 F+ G' [# r1 j9 I1 v
3、误差逆传播的损失( [% o+ M4 h4 d6 F7 q
4、容易陷入局部最小 W4 R( m3 w" j
9 p% A0 e5 L5 a- X词向量(word2vec)$ z* Y# c1 q9 B/ t1 Z3 ]
将文章的每句话当成一行,将每个词用符号隔开(如使用中文分词工具jieba),根据上下文,可以找出相似词义的词。2 S3 H$ c0 P' u7 t
比如:我 喜欢 你,我 爱 你,我 讨厌 你。根据上下文我和你,可以找到喜欢的相似词,有爱和讨厌。4 {# h% u7 {4 \
再一般地如:1 2 3 X 4 5 6,1 2 3 Y 4 5 6。根据上下文1 2 3和4 5 6,可以找到X和Y相似。2 Q4 e4 k, c* c! k# G
gensim是一个很好用的Python NLP的包,不光可以用于使用word2vec,还有很多其他的API可以用。它封装了google的C语言版的word2vec。
5 r1 o/ c! `: t! G) l! s0 A: r' P) l/ d* ?4 a2 y0 ~
k近邻分类(kNN)
$ L# m! S3 ?" C% {" |3 @* H( ?0 `基于某种距离度量找出训练集中与其最靠近的k个训练样本,或者指定距离e之内的训练样本,分类任务中通过投票法(以及加权投票等)将出现最多的类别标记作为预测结果,回归任务中则使用平均法(以及加权平均等)
: O6 {6 x3 ?, i9 [( _- k: s优点: V& `* a8 K+ n0 O$ M0 p( Y/ Q
1、思想简单,易于理解,易于实现,无需估计参数,无需训练;1 J% ?# J ]8 C& o5 M6 O, M! P
2、适合对稀有事件进行分类;. u4 S5 F+ v S8 Z- H- _
3、特别适用于多分类问题' t( E- r' P* f: d# G8 e
缺点:
( d0 s0 x( x0 |4 y, p$ x$ N. X1、需要计算出待测样本与所有样本的距离,计算量大
4 n4 f# Q( p7 N- P2、样本不平衡时影响大
" r d# C& m0 Y N; e3、适用的特征维度低( J, p, F6 O! F3 ]! Q
8 M( {1 g. F6 a* \ m w+ }
线性模型3 m6 X% B. Q" m9 f
优点:
9 m3 ?' w0 l7 b# g: s5 \, a; _% m8 ^. F1、算法简单,编程方便
* q& P* e m, Z1 W' F2、计算简单,决策速度快8 u! a( E% D- U( v) W0 W1 |
缺点:) _6 S4 D, O& W- ?* F
1、拟合效果较差) S2 T o# n9 {& P7 c+ ^- ]
; k, q# q K8 h
高斯混合聚类与k均值(k-means)及其变种(k-means++、ISODATA、Kernel K-means)的对比9 s9 }& _9 `* g, [: b% j5 S, w
k-means是高斯混合聚类在混合成分方差相等、且每个样本仅指派给一个混合成分时的特例,因此k-means计算简单,但效果不如高斯混合聚类
0 N: L& ^$ f& T由于计算太过复杂,高斯混合聚类并不常用,推荐使用k-means++(与k-means随机选定不同,k-means++初始选定的几个样本距离尽量远,这样能更快得出分簇结果)等k-means变种。
1 q" \; f6 X- T% {- V: W6 W* Z- I, u# W" M
关于学习算法的性能实验结果1 m5 T4 ?+ S& p4 q; {
点击查看原文
: B( A% H6 f7 ]; i0 B' h
% ^ K$ c) {' s. _14年的时候有人做过一个实验[1],比较在不同数据集上(121个),不同的分类器(179个)的实际效果。
& y( [- I; M, k+ n8 c( v# H论文题为:Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
) S' v2 z% T, `: p% @没有最好的分类器,只有最合适的分类器。
) O2 H5 G! Y( i; _1、随机森林平均来说最强,但也只在9.9%的数据集上拿到了第一,优点是鲜有短板。# O* C4 D a9 F; |9 J& \
2、SVM的平均水平紧随其后,在10.7%的数据集上拿到第一。
( M& B2 \- g1 s: \$ L( ~! o# h3、神经网络(13.2%)和boosting(~9%)表现不错。
|' m6 O, c( [) ~) ~4、数据维度越高,随机森林就比AdaBoost强越多,但是整体不及SVM[2]。
3 W$ n* f3 \; M5、数据量越大,神经网络就越强。
; v. }* M7 W) g- d* H1 z, A4 v———————————————— D) n3 e% T1 r
版权声明:本文为CSDN博主「路飞的纯白世界」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
1 a3 M7 r |* P6 h g# M原文链接:https://blog.csdn.net/u010921136/article/details/90668382! B8 i9 D% y; T& p! f7 L5 g) e& L
3 V4 _5 \" T" W% w, j& v1 J* z
$ M1 N$ `" ]- `4 E |
zan
|