使用统计假设检验验证

杨利霞

使用统计假设检验验证
3 S! W& A* y1 D# o文章目录

常规检验
二项检验
t检验
一个数据集比较两个算法的检验
交叉t检验
. s, x& N# c- v+ u) E! FMcNemar检验
1 U$ v( g% S" I6 o  g一个数据集比较多个算法的检验
Friedman检验
3 i3 I5 E) U+ o# p. z( u0 ^Friedman检验图
F检验常用临界值
9 @6 d: J, g- |7 qNemenyi检验常用值
; j: I7 \4 v5 K: q闲得慌
! B. x. c: H; `( e6 d- D统计学是以小样本来估计总体。

在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
2 w4 m, w5 {. j# r
常规检验
$ X* y  ]( d/ d! }% x
& f2 L( z% U! z1 ^# B二项检验
! ^6 o8 B5 d. M7 Y" N" H
假设检验步骤及二项分布的介绍
" g8 T2 x1 g7 p* o+ c; z% L
0 d* Q7 n: q" [4 N* v
- ]/ z$ C. Y; f1 l  ?9 O
, ?- M* {( g# S! s  p$ Q8 lt检验
& M0 T6 b) Q$ f+ A& n( H
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
3 H, N2 Q5 M7 @+ V* F三种T检验的详细区分。
2 V7 v6 b2 ?) y, v9 W. n, k# d- jt-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

0 h( J) |0 h! [* `8 P一个数据集比较两个算法的检验
) Q, v7 v3 p7 g  K
交叉t检验
; K3 H. g; ^- R9 q
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
$ M2 c. J. H) C; Y1 m6 x


8 u5 Q! ]7 a& p. C2 M. F& xMcNemar检验
5 T: p- ^+ l+ q
卡方分布的解释。
# ?& z/ A0 Q# V+ vMcNema检验是一种列联表的同质性检验。

, ^! L" \4 U! [! M
- _: Z3 t/ P$ J
1 F$ V  d& A( `7 Z" Z4 a+ |$ H一个数据集比较多个算法的检验

两种思路：
" g: e+ g0 N6 k+ B" v3 D
算法使用上述方法进行两两比较，直至产生结果。
/ M" n6 _- v2 j( o# w1 I对算法结果进行排序，如Friedman检验。
Friedman检验

, Y  [7 ~' r0 U先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

  b6 h$ @( q% {$ X& h+ V" P; G

Friedman检验图
8 n2 o& C, w. z$ ]$ r
3 m3 w# s+ o- E0 F5 d$ JF检验常用临界值

4 G% b% N1 b* ^3 v' ?( q8 |Nemenyi检验常用值
( _: q, p5 A* |7 h/ a
' O- [0 ]& c8 \: L
————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
+ _0 O9 a" X' D3 k& T$ k