数学建模社区-数学中国
标题:
使用统计假设检验验证
[打印本页]
作者:
杨利霞
时间:
2020-5-4 15:18
标题:
使用统计假设检验验证
使用统计假设检验验证
; H# a0 u6 _# ^. H, s
文章目录
" p+ Y7 a0 P% o# ^0 a. T: Y
( P: L% ]3 m0 L; u" ]
常规检验
7 Q. R, m% v- W' V5 P$ } l
二项检验
. {2 ^, C. {% o, D
t检验
+ q- t/ E8 ]1 j1 T
一个数据集比较两个算法的检验
& n7 E! R$ Y1 @' Z" B
交叉t检验
6 @5 t! F5 n/ h
McNemar检验
% u4 F: b: b- U. ?" T' U+ m" F- }
一个数据集比较多个算法的检验
& p F, Z& `' H1 i( g9 j& X- ]: b: S
Friedman检验
3 C/ i1 s l* u. c( W+ @
Friedman检验图
% D: ]- w; y& i- b2 g$ p
F检验常用临界值
- H5 x, z/ h# r3 z
Nemenyi检验常用值
5 m+ N: X7 }: _1 ?- Z
闲得慌
9 A: F+ Q' j; c y: e! u
统计学是以小样本来估计总体。
+ a, b& M! m* ~3 D( |$ J: ^
9 m; Q' a% u( w4 Y& |
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
* | ~: E/ x9 g3 g* m
- e( S) X% h: a: T5 G4 \! o
常规检验
) \ c& f* g- m$ i+ f
6 B: d q+ z5 z- @
二项检验
) |& k) l/ g( V1 C
~$ d4 N8 U! I! _" ~# M# }8 g
假设检验步骤及二项分布的介绍
3 U6 v4 J- K/ O4 y
2020-5-4 15:13 上传
下载附件
(190.7 KB)
1 x T1 ^0 x+ f b
' p; @4 S, A5 t: ^' `
) E! x1 Z* I: `6 p# J' s
t检验
C0 z4 G% |# N& L- F- _
0 K7 c. }/ u% s, s3 O( V" @
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
3 v6 w* j, k0 n
t检验可分为单总体检验和双总体检验，以及配对样本检验。
* l$ D) S0 _- c1 T/ ?; a
三种T检验的详细区分。
- L% b& p4 }* A6 l4 }' N
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
- X; j9 g2 k9 z4 C3 t$ i4 }
/ l7 M0 k6 h. j [
一个数据集比较两个算法的检验
% g0 }* r# [4 x9 f1 k
5 F/ i$ V8 J, f, y
交叉t检验
9 n9 r3 y" y) l! f+ e5 L! c
6 }3 B V2 U8 K$ j+ P* @
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
" y& a. j& V, d1 A2 U; J+ P
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
7 [- [% J8 `( I2 m
假设：学习器性能相同。
+ {0 X1 D; P$ c; e
2020-5-4 15:14 上传
下载附件
(205.31 KB)
" G9 e/ K% T- H2 C/ W
/ h" ~( c" I; j/ Y4 l7 L; ^$ U
6 X- m% W' f2 z0 O, o x( _
McNemar检验
5 t% U4 L9 U" r' O/ u1 [1 u' ^
, P7 U: {. O, J! E1 x7 e
卡方分布的解释。
; d' h) C4 ?. d* ^ N4 X, H: [) R
McNema检验是一种列联表的同质性检验。
3 B4 k) r- K, D. I0 A9 _; I9 L
P* H* w3 M7 n, W
2020-5-4 15:15 上传
下载附件
(151.21 KB)
1 I D/ u) D& y- P! D0 a: K
: h+ D4 O9 b5 ^& @1 p. } H: @
一个数据集比较多个算法的检验
" Q/ F; {9 R( K
`$ k$ C' D% V( p( S, }
两种思路：
: t5 n0 n4 r" F t' ?4 \- H
5 v& z( C2 A! ~* w U+ ~( C
算法使用上述方法进行两两比较，直至产生结果。
# c1 ^' ?+ \0 I9 Z1 v+ x$ {& z
对算法结果进行排序，如Friedman检验。
, Z$ U5 f) Y, o9 N7 p
Friedman检验
* \ M$ ?! V) L1 J
! f% p' R. ?7 j$ L5 s7 U/ l6 Y- H
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
! V( H! W, u4 i- \1 Y
. C$ u; Y- a5 u! |# b0 ~) ^4 h
2020-5-4 15:16 上传
下载附件
(167.99 KB)
3 g, c! T% ], ]# y2 x
8 W6 u1 X" E: a9 o3 l7 C
Friedman检验图
2020-5-4 15:16 上传
下载附件
(238.14 KB)
1 E% g% `' w4 n; {! ~% r2 h
: O b B( r( p; Z& O" I
F检验常用临界值
( j: y; r0 z/ m3 `' o/ u( g' {& t
2020-5-4 15:17 上传
下载附件
(291.72 KB)
) _; u4 G4 d" x2 d4 g( p2 w5 X
Nemenyi检验常用值
2020-5-4 15:18 上传
下载附件
(78.45 KB)
' y% g/ N& c! w m
N* s- r! U; v' o
2 j& J+ i3 \, N3 [) Q1 `
————————————————
1 K2 y$ K& A* _
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
' R4 a; l, t7 U# y: m+ s% \9 S
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
% e, o5 B6 v; j7 b9 Y& F/ p
' [* N# S1 ^2 w" O
; n: R( E. G, e% z* Z
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5
