使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
1 g( _# L4 a  J5 V3 l- v: ]/ h( ^; X
常规检验
二项检验
" w' `; d3 ]% T8 E7 r9 W! p' ut检验
一个数据集比较两个算法的检验
交叉t检验
McNemar检验
一个数据集比较多个算法的检验
Friedman检验
# _. b; ^' d3 m5 R& T; c' a8 yFriedman检验图
* ?) O1 ?0 z8 m! o' p# eF检验常用临界值
Nemenyi检验常用值
* h7 k' ?( Z% B9 u: {闲得慌
$ O; ^+ p4 V1 X7 B统计学是以小样本来估计总体。
5 n/ F5 h5 B- U# h. ^& w% l! }
4 s$ ^% [# U+ ]6 z在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

$ S2 o9 p) L% z# R0 w8 Q% c/ g常规检验
1 E* p8 s% k$ h4 b% n( f, U6 H
! {* ?5 ~# S* X. \% i二项检验
% K* ~/ t) {2 J0 z5 S" ~% N
' \. _8 j0 m% K; p0 o5 m假设检验步骤及二项分布的介绍


' r! d- j, R3 q" m0 |2 j5 c2 G
t检验

多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
5 H3 ]( ^) P: i# p三种T检验的详细区分。
3 K9 S! Y7 {  m% a; ?/ l' ct-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
2 c; _7 z+ q4 R
一个数据集比较两个算法的检验
6 _' T5 a7 C4 Y& A; W# S
: X$ U+ }4 T2 K  r& n. u交叉t检验

9 k& q; X; m+ y# I交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
4 E3 G% f4 b+ a$ U5 n' _基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
  c0 l4 w* {: R2 l* R$ h

5 A9 f8 [1 J4 ^# y& W
McNemar检验
0 e9 k: A. p5 t" g7 D2 R; K
卡方分布的解释。
McNema检验是一种列联表的同质性检验。
* C1 G0 M* ?9 d; F6 V
" R7 Q% S/ z* R  C( P
" a$ V+ g0 Q- V; j8 C8 f
一个数据集比较多个算法的检验
, }$ _! K, T: L+ V/ O& c
* i; E2 S' H& s% N' W* S  m5 m两种思路：

" G/ Y8 m4 `) e1 I* W" M0 Q算法使用上述方法进行两两比较，直至产生结果。
6 l! G% F+ Y* I9 j0 Y2 C  r3 X对算法结果进行排序，如Friedman检验。
Friedman检验

% }$ w* a+ I' ~2 x1 ]: N- H+ ]先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
& `9 P' E1 N" R  c


% l2 q1 r& f) o+ F  A3 rFriedman检验图
0 N) x; n( T8 {. b* n: L
+ o0 ^$ ]$ M" @9 ~4 lF检验常用临界值

# i0 q. Q: W8 CNemenyi检验常用值
* o0 {& J2 D  v

————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333


8 f% m; C) r6 d9 R) i