- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 564563 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 174592
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
使用统计假设检验验证' B9 v( `1 F/ g! j, i! K, }/ Q
文章目录
' v# y2 U* s# u8 t: K) Z4 y9 F x( u" i p5 O
常规检验 [( a, U$ @: Y3 `# ^1 t
二项检验0 J! T. h% J4 t' [ S4 |" v
t检验1 x! L+ W4 Z3 _+ a
一个数据集比较两个算法的检验/ y8 @% s* \7 v
交叉t检验
6 ~$ y" [& D3 u3 T1 m: }% eMcNemar检验7 r* E7 o9 Y( u8 a& c
一个数据集比较多个算法的检验. Y7 P) z. W& A: ]
Friedman检验& m7 Q, ^* q9 x9 n, x4 c) X
Friedman检验图' O. l8 K! q4 f6 l
F检验常用临界值2 I9 Y6 v- \: t9 ^! u, L
Nemenyi检验常用值
3 G$ P T3 [& r- G. [* m闲得慌3 N- ?9 z/ ]0 @& G, H' U1 i
统计学是以小样本来估计总体。
) x. Y4 {# S7 G$ U% r! p$ c0 b _; r6 O' |8 k. _8 }, |
在机器学习中,我们若想知道模型的泛化误差,就看可以以测试集作为小样本,以测试集在模型上的泛化误差,推断模型的泛化误差。
8 d; `: B2 H" P4 n, o9 T w
! q6 J1 y3 M5 [, p( ^. q9 i& p常规检验+ i" I% E: @( \8 E) W @6 I
' a3 X' N( Z2 Q# O! z d1 r
二项检验: f9 ?% {6 t( W1 U+ h# |" v
9 ]8 c2 w# M3 |' O) U9 ]
假设检验步骤及二项分布的介绍* N8 \4 T. i) Q3 l
: _4 Z. e$ F e( P8 }: G' G: `
. p# B' Y" w: g7 }
' N1 ?$ W6 c, k# M3 ?' ut检验
; R2 n2 a. p3 _* I3 ~
" k2 w1 t8 D* K" e多次留出法或交叉验证法产生多个结果时的检验:使用t检验对多次结果的均值方差进行检验。! B0 A, V3 T7 m5 {+ {1 l
t检验可分为单总体检验和双总体检验,以及配对样本检验。- Q7 X0 o. C# C8 o9 d! H3 K7 Y
三种T检验的详细区分。- C5 w9 a9 x. i
t-分布(t-distribution)用于根据小样本来估计呈正态分布且方差未知的总体的均值。
8 v/ T, }, M* @& [- Y4 d, u2 |/ `/ l; {+ Q, J! C/ C
一个数据集比较两个算法的检验' R% R; h+ ?( S
% z4 u) G5 n9 V; t: q
交叉t检验! u! ?+ O [7 n7 k6 {) t
' E! @0 t2 I6 Q- _9 R j, J! T
交叉t检验:一个数据集比较两个算法的检验,使用的是成对t检验。. k, m" F3 c% }
基本思想:若两个学习器的性能相同,则使用相同的训练集和测试集所得的错误率也相同。. O& |' j- o' ]. q
假设:学习器性能相同。
* S$ E5 f# w M$ @- ?9 `7 Z- S
: U5 i2 L& r! \* f% k& e5 {1 k* A/ C* H9 D* c" F. H, s0 T- ?1 R- o
2 a1 ~ \- H8 \$ M* o( Z2 @) e0 R
McNemar检验
/ d0 r z5 b+ ^& y3 G i$ R% m* v/ t8 ?* T- [* r
卡方分布的解释。, }6 S" D# u& O' V9 R- ~9 N
McNema检验是一种列联表的同质性检验。
: C9 g8 M" l0 [1 k& h2 c& g7 R* `+ [
( Z: x. D; S( t# G* G
0 g( A. F; }5 C1 t* ]一个数据集比较多个算法的检验2 V8 J9 E1 u( m8 `1 a4 x& ?% s
$ t" k& P4 v% C: X% e两种思路:3 j9 W% L7 n* Q$ L7 H
( T, J3 x: @ k! H: c6 {; l- D4 x算法使用上述方法进行两两比较,直至产生结果。$ i5 h. @- y# ] `6 V
对算法结果进行排序,如Friedman检验。/ K% R% O5 i7 O/ ~( v3 ]* m
Friedman检验
8 N) k1 l- z" D% P$ o/ \$ C# w! y, M$ g) }. K1 z0 W8 I
先构建序值表,进行Friedman检验,若假设被拒绝(假设为“所有算法性能相同”),则说明算法性能有差异,进行后续检验(post-hoc test),如Nemenyi检验。; m% F3 @7 k6 ?; V
* x6 V* D& M8 U% F" y4 Z& Y
7 X) x- w: C& N. m* c
" r, [- u; T4 B, x( FFriedman检验图
9 n1 _3 W# J. N0 x1 i9 S
: r- [% V: ?3 t1 {$ z% lF检验常用临界值/ g( D: i+ ~3 `& m, K9 Z
5 y1 ], Y" m8 _
Nemenyi检验常用值
3 L8 B0 H3 ~* f* A- A6 z* {
|* G& p( y6 F
+ K4 j6 P& V/ O+ }8 @. k————————————————
3 S- B! E( F) }9 F* G版权声明:本文为CSDN博主「一位不愿透露姓名的群众」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。6 ?% ^, E# a1 Z+ n
原文链接:https://blog.csdn.net/qq_35182128/article/details/105886333
]- {! u: J# H/ D' @0 A
! k' E1 ?9 D4 X7 \+ Z, g7 v! `; ]* D
|
zan
|