使用统计假设检验验证

杨利霞

使用统计假设检验验证
& {, s' \/ X" a6 d) Z4 x文章目录
+ F/ w3 H- N: j, Q6 l
6 m, ?) }" V% C8 h1 l: B4 e常规检验
1 J$ F1 [/ N1 U+ C5 y8 l二项检验
' p8 e# D# B3 E9 |- @# Et检验
一个数据集比较两个算法的检验
交叉t检验
% J/ B. k+ T2 u& Q! [McNemar检验
, a( P# I8 C  M/ w, l6 {4 }$ m6 b一个数据集比较多个算法的检验
Friedman检验
Friedman检验图
  v$ u" S, p' o) z2 NF检验常用临界值
Nemenyi检验常用值
$ g* u" `, Z' T+ G闲得慌
) S/ k6 m6 l# n3 \+ q5 Z' C统计学是以小样本来估计总体。
% {8 h* B/ f* v  z& f( j
! X6 s0 w$ |2 y' u在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

常规检验

二项检验
/ d0 ~# n# u( e0 {$ N
) i1 j9 J6 ]9 l! D( q: _0 ]" n3 P假设检验步骤及二项分布的介绍
9 M. Z/ d$ Z1 f% K/ B

5 b% e5 t& c- T

t检验
  H: k, p4 M% P; A+ u$ Y* m: T% P
% K' y3 S; I+ B; S. n2 F/ {% I多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
6 {/ q, F1 o! V. ^$ I% D1 v# it检验可分为单总体检验和双总体检验，以及配对样本检验。
. l. U' `! V& D0 t/ s7 y三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
( n, q8 O& R- O
一个数据集比较两个算法的检验

交叉t检验
: K& Z  b' J8 |% K- z* c0 n
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
+ K2 o# o" B0 j假设：学习器性能相同。
1 P3 Y" B* P3 u( I# o( K4 x9 p

$ b9 f5 U) p" F" n1 [- f

1 n( p9 ]- V4 n+ U8 h6 rMcNemar检验
. U: j- r8 y5 p  A6 e# _1 p
卡方分布的解释。
McNema检验是一种列联表的同质性检验。
7 L& A0 F9 j6 Z. e

一个数据集比较多个算法的检验
0 }3 O' Z5 J5 v) n' m! T) N# B' h- q
' A" [( M5 P9 z% a- c$ q两种思路：

1 O0 p7 R+ E: Y6 q0 U算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

& M0 {: ]& u2 I: rFriedman检验图

F检验常用临界值
. [# O, U1 K( e8 _# z

Nemenyi检验常用值

" O! d% \9 M) @* h————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
, x3 z) c4 q5 S4 z4 [2 V

1 t/ h8 ^5 A6 J; q