- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 556681 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 172377
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 18
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
使用统计假设检验验证
) T) F" n5 }) s文章目录
* O% m# F3 M! E. _8 t, t, v9 `. C6 h
常规检验( l( B+ k, k- O% v, I
二项检验2 @' P9 k' Y0 ~5 m( q+ w" f
t检验
( h: H$ ?4 O+ a( s一个数据集比较两个算法的检验
U, ^. i; q( s b0 T* A3 `交叉t检验
Z$ v& K* W3 E8 s5 QMcNemar检验
% p- j# x6 H( @: e# G一个数据集比较多个算法的检验" f: s$ e! r" u8 V) k
Friedman检验+ ]) q/ i* U' c' \$ v5 B
Friedman检验图
5 k$ q' ~; u% b+ D/ CF检验常用临界值( V: A u& Z* G; N) k
Nemenyi检验常用值0 Y1 w7 {/ A& V1 q) |
闲得慌
& y; F1 Q; t) Y8 J7 R$ \6 T1 W统计学是以小样本来估计总体。
. O; ~4 Z$ W1 m+ p" [
, u3 Q7 Z! n/ \1 K. \# |+ s在机器学习中,我们若想知道模型的泛化误差,就看可以以测试集作为小样本,以测试集在模型上的泛化误差,推断模型的泛化误差。7 ? l; h" H1 G( u, D6 G" S' s
" C5 L" e# Y) `/ Y. }# p8 N5 B常规检验
/ u! `. |7 C, B1 I/ p% n8 o& d2 c
二项检验
, j, T1 B _/ K( D0 H
4 U- x6 a- B0 C, }: X% J* ?$ i假设检验步骤及二项分布的介绍
' I% Q0 U0 i# R9 Q
0 J0 u5 f# |8 S% k
3 v% D M0 O/ H$ e$ W( c1 t4 ?$ l) f4 {6 ?/ a+ b N
t检验" D! X- c* ^. |2 p& N9 E
! \0 v u/ x& y( u# f' W9 f/ d
多次留出法或交叉验证法产生多个结果时的检验:使用t检验对多次结果的均值方差进行检验。' K# {7 u7 X1 n% ~ q' o6 k
t检验可分为单总体检验和双总体检验,以及配对样本检验。
0 I P# ^' \+ v$ X# d/ r三种T检验的详细区分。
- M% [, v: b9 c: D3 `) Pt-分布(t-distribution)用于根据小样本来估计呈正态分布且方差未知的总体的均值。
; V7 i' e% r% l& X% {
$ |( u. Q: @7 Y& F4 G% e一个数据集比较两个算法的检验
$ I4 Z, e- w% s9 O+ M | E
" R/ c, l3 x+ D- f4 ]5 @% u" c: b交叉t检验
# y- h- u, y% B; Y _
+ E( C3 Q& x+ g' G交叉t检验:一个数据集比较两个算法的检验,使用的是成对t检验。; {( g; F F2 _0 x$ x2 u
基本思想:若两个学习器的性能相同,则使用相同的训练集和测试集所得的错误率也相同。! I, _3 B- P# `
假设:学习器性能相同。/ t: A2 N3 ^1 W T/ g
4 J4 P: G2 T3 C' t* D0 M" s: z; G+ u B
0 n; R6 \. G& k- l4 U& \0 A; p
McNemar检验
* V9 Y% D( o) `+ O/ A4 N, b. D: z
Z9 S9 Z' z3 G) U6 U7 `卡方分布的解释。: V0 j- s3 ]+ M y
McNema检验是一种列联表的同质性检验。
$ z7 Q' }7 t3 Y: H5 ~' ]4 l
1 z% W; H+ @" O
8 m2 g& m% h1 V
3 Z( |2 z$ A2 v0 i% e9 n
一个数据集比较多个算法的检验
; }& Q0 c4 ^, v( \! D
' _& _2 d; S; t: e7 T两种思路:
2 }, J; E: e% k* C$ w3 K. {9 {/ S
8 |3 G$ n) h) b% I [9 u+ B算法使用上述方法进行两两比较,直至产生结果。
7 N! u! {/ O- g对算法结果进行排序,如Friedman检验。
4 v8 W" P# C* r. a1 W" AFriedman检验
0 N1 X U: `& y6 A9 [8 ?; m* E
. h! s/ f/ [1 Y) W# \5 L先构建序值表,进行Friedman检验,若假设被拒绝(假设为“所有算法性能相同”),则说明算法性能有差异,进行后续检验(post-hoc test),如Nemenyi检验。
; H' H# P8 d2 J% Q4 Y
7 x0 X4 e- G& n: X E, g
( w+ P1 n9 U* _5 W: X" D8 H6 ^+ k& R7 ?2 ?$ P' L' L
Friedman检验图
9 Z. e" Q# b* O+ k; v7 A
8 R: }4 `/ F9 c8 I1 e
F检验常用临界值$ t; c- O9 q' l/ ?& I
3 K9 B: b/ X, L! G( S# j) A, ~8 F) _Nemenyi检验常用值
. @. e* V! L" t9 b' G' G& R0 i: V! D/ C/ G; k6 h$ t- j
4 Y8 d3 y. \$ P
————————————————
% U- ~7 g* Z+ l, z( T. {3 z' x版权声明:本文为CSDN博主「一位不愿透露姓名的群众」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
' j0 A Y* j" v, M0 g原文链接:https://blog.csdn.net/qq_35182128/article/details/1058863338 e6 ^2 J5 b. m5 W
2 C6 W# F5 }6 `! S8 \+ u% ^7 d
|
zan
|