- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 564564 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 174592
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
使用统计假设检验验证
" ^- M4 e9 m' \# W9 ]) u文章目录8 I* G& j V9 f0 F/ }6 k8 n
( h4 y2 q" |2 c% G
常规检验# y% r8 z3 {( ?) V
二项检验
4 e# d: s" [9 Z7 X1 Lt检验
- B. @3 `; H, \; S2 H一个数据集比较两个算法的检验
4 g4 P$ {# y' {- Z9 R2 V交叉t检验
0 Z4 U% A7 [7 u1 x8 Z/ yMcNemar检验
% d$ N: k4 K2 {+ q) L' X一个数据集比较多个算法的检验
' R6 p: ]% V% q0 A" ?! uFriedman检验
+ O8 s3 Y, ~5 h+ G" | PFriedman检验图
9 E- k- a$ m# f0 B kF检验常用临界值
6 _/ S8 F: Z( U6 a( | c( oNemenyi检验常用值' X; x6 A! Y$ M+ L5 a' a2 F/ ]
闲得慌4 C# [$ m M3 @) ~8 P8 I+ W
统计学是以小样本来估计总体。$ [/ w8 x2 l; x' y
" P" ~' D7 N" s在机器学习中,我们若想知道模型的泛化误差,就看可以以测试集作为小样本,以测试集在模型上的泛化误差,推断模型的泛化误差。; w$ O# i2 A# [( v6 v
+ H/ |6 V5 [' Z _/ J% ^常规检验$ F, x* @' i( A. c Z% \4 [
& x. M; p5 J9 I5 R, x9 M9 z二项检验
# \7 W" P& }3 B, x# g/ F4 S6 l! W" g0 b$ G
假设检验步骤及二项分布的介绍
5 Q* v$ j; r1 c6 F& r
+ y: Q9 r) b! j+ h' }9 A% R! t! {6 O. c) i3 N' ?
: N- U w$ s0 y( ?# {0 N; a
t检验; A) ]" F" A; }* d
# u; D2 r; W1 [2 H1 j5 c
多次留出法或交叉验证法产生多个结果时的检验:使用t检验对多次结果的均值方差进行检验。- a( |- I0 o5 l- f6 K ?; i/ j
t检验可分为单总体检验和双总体检验,以及配对样本检验。* w) t# M3 |8 j; D
三种T检验的详细区分。( ~ u1 r1 }: b( O: s$ W+ o5 [
t-分布(t-distribution)用于根据小样本来估计呈正态分布且方差未知的总体的均值。
/ [; x- {, T6 r8 r. g* a; Z0 S! h3 J7 r
一个数据集比较两个算法的检验& m; u% I% S: A% \! O
: w3 d4 E! q/ ?* Z% g+ I* t! X6 }
交叉t检验7 d8 U" ^+ y& O4 g; N" h1 X
x( z3 ~9 L7 @" {- r+ [3 ~7 S e交叉t检验:一个数据集比较两个算法的检验,使用的是成对t检验。7 u0 Y- _+ R' ^( u
基本思想:若两个学习器的性能相同,则使用相同的训练集和测试集所得的错误率也相同。4 k2 z! t, B. N* e9 g8 t& d
假设:学习器性能相同。
$ k( |; m9 c" r0 z; O& l
8 O" _: I% F9 U9 ^6 c3 ?
) z, h N. r9 S7 R: V& m# I, C, j
; b1 a: @# r8 N/ O/ b( X5 W( ^! D5 LMcNemar检验
W+ M) R# H! A$ g
1 w5 l/ O' E7 @( q( n$ y卡方分布的解释。
# H8 G9 Q$ I. Q1 vMcNema检验是一种列联表的同质性检验。
$ t8 K5 a* f% u# a. ^
1 n3 J8 Z0 B* X" Z3 [1 u. t
# S: |; K# P2 V/ o# S9 Z; N- g: { j
/ U- {( `4 i, w- h+ A8 E: B! u+ f一个数据集比较多个算法的检验
% A% S, h+ p0 [# h9 y8 o$ y
! l/ @; n+ \5 D% {) W7 C* T两种思路:
; Q1 u, \/ |* }: B3 C; u$ F6 z& c1 g% i/ v
算法使用上述方法进行两两比较,直至产生结果。' J: ^. X j: g1 [# S$ O" B" Z
对算法结果进行排序,如Friedman检验。1 f' Z" d/ g. X. J$ a0 Z; v% N* M
Friedman检验( X9 ~& Y* ?: D' Q- |* H) x
% T( f) o- f2 _6 \: `先构建序值表,进行Friedman检验,若假设被拒绝(假设为“所有算法性能相同”),则说明算法性能有差异,进行后续检验(post-hoc test),如Nemenyi检验。6 M4 F' ~9 J: H* h* O
8 M) R- ^* a/ u+ c
$ f. a9 n: Y% C0 T
) U; ^* j# _) l$ @$ U |
Friedman检验图
0 F; E' @! T+ z# m8 b* ^: n; T3 W, a& ]) `7 @& j' n
F检验常用临界值
1 z" c3 V. |9 N# y8 G
1 ^- Y' G- R- ~! e0 p. _Nemenyi检验常用值
& q8 [* o, r7 \# r1 a4 i8 P8 e7 w
9 h+ z$ q; b* R; M+ ]% Z8 G, A% H, b* ~6 [- A! i8 M
————————————————
4 L4 Q) M# R) n2 B版权声明:本文为CSDN博主「一位不愿透露姓名的群众」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
! t- @) m3 V) P原文链接:https://blog.csdn.net/qq_35182128/article/details/105886333" A. J, |# Y; [/ Q V. o P
1 A! ^) Z/ y- h- G) [" c" n
3 Y: G: Y' Q; R. x. @" v# a |
zan
|