使用统计假设检验验证

杨利霞

使用统计假设检验验证
2 q$ R8 Z+ h/ w2 J# j文章目录

3 T. ^0 }* Y+ d常规检验
3 \8 r1 |' @8 Z+ b- @( L# ^2 U* i二项检验
t检验
8 a( i  r, q+ T9 e4 I' I一个数据集比较两个算法的检验
+ i) a9 `7 \1 q) S8 J) O! j交叉t检验
* s# m  U" I$ y% \3 `McNemar检验
. j9 l$ g" `. c) ~, Y% f/ F- g; H一个数据集比较多个算法的检验
$ J. H! m; X" `( D# z8 U, dFriedman检验
5 J1 ]% N/ n1 b/ |& H  \8 M/ WFriedman检验图
F检验常用临界值
Nemenyi检验常用值
5 P1 J# N- L) v+ h闲得慌
: C  t, P  J- O; Q6 P统计学是以小样本来估计总体。
  }$ ^# I2 T/ Z3 L8 B
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

常规检验
4 s6 g2 }! Y6 V/ {
二项检验
* m/ u& n9 o( d! @
. K: S  M' A; K  d; K* p假设检验步骤及二项分布的介绍
5 k8 H2 k1 c: W& ?

7 B4 P" x5 q' S+ T) T3 H& H$ O& B- e
t检验
9 h/ ?9 S2 z$ h6 l
. o5 J% Z' t7 T+ _7 @多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
4 m9 {- L% x0 X8 m2 ot检验可分为单总体检验和双总体检验，以及配对样本检验。
2 G/ R4 [/ N0 v1 s三种T检验的详细区分。
; j5 I+ d, Q5 dt-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
; B$ P0 ~2 S8 m0 w) p9 M' R$ W
; [) `% J+ ~* e3 U一个数据集比较两个算法的检验
/ D. ]1 |# M* g& M# h4 l0 x
交叉t检验

8 O1 F, B- z: N5 i交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。



McNemar检验
9 ?) f7 W* W' U9 z$ u* `2 ~
& K' l) N5 \; I0 N5 \: r5 k卡方分布的解释。
McNema检验是一种列联表的同质性检验。


5 G* `' k7 @+ x! d& g0 q( j* ]
一个数据集比较多个算法的检验

两种思路：
3 z& b- E7 L4 p2 q; k
算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验
. d) G! L4 m1 s6 W
* S1 ]5 f3 z6 y* ?1 l, a: z. U先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

. L5 g  b  c0 p# I  q. @* w
. V$ T* h1 z6 F' o
5 {0 D0 l! D7 j0 R4 xFriedman检验图
( w( B1 K4 B! ~: j5 {3 W$ n
$ q' |2 F: ^, |5 Z& y5 ?; EF检验常用临界值

Nemenyi检验常用值


1 U2 H, O& ]. L5 o————————————————
) ~, m; B1 d6 K# {3 {版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
$ ~* B( X4 j: l原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
( L% @; U7 o+ Y0 R6 ~) ~
6 Q3 Z4 o+ D- K9 i  i