使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
* u- J, Z9 K! E
常规检验
二项检验
8 f8 c; U6 k) z+ \; T4 G2 }% St检验
) `& \+ r/ x8 \$ o一个数据集比较两个算法的检验
交叉t检验
" e; ]) B6 a: _' w! hMcNemar检验
& L% Q2 w4 p1 r3 U, c3 H* ~一个数据集比较多个算法的检验
; A1 p1 j2 g* ?! LFriedman检验
1 u! t" K( C8 T4 Q7 @" U4 w+ eFriedman检验图
F检验常用临界值
Nemenyi检验常用值
" C  x6 |+ ~0 K, R0 ~  n3 M* F闲得慌
统计学是以小样本来估计总体。
2 x* A/ I) S$ c
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

常规检验

二项检验
* n: \/ L3 d7 Q: Q
% ?' x% a! M5 t1 b1 v% u8 j+ T3 x假设检验步骤及二项分布的介绍
0 o% v; J% d0 P7 M
0 y  G8 e# A5 C4 l

t检验
) U/ T5 k. X& c3 k- n
% S* H, o* q' d+ k( w多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
) I; m3 |! T5 u; j, X. _" {7 ~t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

$ \2 L2 e5 {# T, B9 i# Q一个数据集比较两个算法的检验

5 P6 W3 v1 X& v交叉t检验

交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。

  g2 Q8 D9 B8 {8 D' V5 \
, C2 M1 ]8 ~3 l1 s. ^8 ^9 ?: \( L; C  h
McNemar检验
* k2 t: Q& ]+ F4 V
: `2 u9 O- e" @3 ^0 y. @卡方分布的解释。
McNema检验是一种列联表的同质性检验。



一个数据集比较多个算法的检验

1 ~4 r% Y4 |, z! \, ^9 X两种思路：
# p3 F2 n1 d- y4 Q5 C- T
4 d$ V/ d. g/ P3 `; @/ \算法使用上述方法进行两两比较，直至产生结果。
) _: U4 ]1 _2 K4 D& D8 d7 N# m6 v, b对算法结果进行排序，如Friedman检验。
Friedman检验

) Z, m9 @  M9 b! C% S先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

; W5 M1 c9 R# O
8 w6 c6 N8 x  M- S- t6 w# I# \
5 j6 Z8 P  [( I1 G. J$ @Friedman检验图
. f+ A/ e4 a! k- e7 f9 A+ {
F检验常用临界值

Nemenyi检验常用值
# W3 J& ~# @# N6 Q  }% z. ]. @

————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
) E% e* q/ ~4 e1 `; t原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333

; o5 d* U) R7 [% q& T7 m6 g
1 ]. U6 M8 A; ~8 d6 c