使用统计假设检验验证

杨利霞

使用统计假设检验验证
& M7 x1 `0 Y$ @! X0 N1 d: U& F文章目录
% \( m- _2 v" M- k- L0 J
! T$ P8 A6 `* n$ L  h常规检验
4 C' X$ y! J( E4 V: O0 T3 K二项检验
" k) d% m) G6 G% E/ g* {2 v. Zt检验
7 }5 @) j3 D! ^/ _  t3 S/ h一个数据集比较两个算法的检验
3 F7 ~9 H- }% N/ ~8 n5 K1 d交叉t检验
$ @2 T* m% o, j/ p. h1 w- JMcNemar检验
一个数据集比较多个算法的检验
  U" N' c. P7 @9 J3 n) O! N3 m: {5 QFriedman检验
Friedman检验图
F检验常用临界值
$ P0 `2 u5 }/ H0 F$ T, t. pNemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。

" W9 L. B1 m( t  z% i在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

0 n! r& d. X- [7 |常规检验
( X* H0 d; t* R+ \3 Y5 S& u; X& b- Y
二项检验
5 Z# d! x" e$ E
假设检验步骤及二项分布的介绍
1 Z7 i2 a$ [& L: V9 l, H6 t
0 I! r* o) s- S$ S5 {7 ]0 }

t检验
& p" w+ I, l# N; n/ z# y& q
2 u% ]* V( Z) l* B6 t0 p+ |多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
) w# `8 y. y( h4 q$ ^三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
; Y: [; [/ O6 a& A' R4 q
一个数据集比较两个算法的检验
' n! Y' P6 I; Z
交叉t检验
) R. O: z. o) a& u) q
% x% W# f  Q% u, L: s. Y交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
* A; Y- [' I; ~9 x基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
" e3 K$ n% c8 K% n1 B假设：学习器性能相同。
. ~* r- _- i) `6 m( r5 B$ t


' M7 v9 F& C  s1 C& e6 F  t0 D0 jMcNemar检验
( B! |& L7 M0 Z5 ?' R! q4 H
5 c4 j" f7 M; m- @, j卡方分布的解释。
/ G4 F, ]  V9 M% A. B5 zMcNema检验是一种列联表的同质性检验。
9 [9 _  u+ e1 i( e+ H3 d
, d9 Q) A' D: ]6 L

一个数据集比较多个算法的检验

两种思路：

算法使用上述方法进行两两比较，直至产生结果。
4 w/ G& b. _* }$ A对算法结果进行排序，如Friedman检验。
Friedman检验
7 q" E3 _# E' A+ n
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
$ d1 e, E. q9 `* I5 R" N
1 u3 h' H2 c0 Y3 t: Q
/ e3 p7 M5 O" ~$ Q, J- k2 b0 p7 ]
( H+ Y) u0 r7 P  IFriedman检验图
6 ]9 y/ a/ [  X- R2 L4 W
F检验常用临界值
( n  E' C, l9 a& Z3 S& M# z
; i; M9 |- K. H- FNemenyi检验常用值


————————————————
. I/ _6 {* x' V! s2 F版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
- e6 U" \. n& _' S- f$ ^4 {原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333

8 v: x& z0 u! U$ v) y
+ Y$ j0 Q9 k) ~+ M! f* n