使用统计假设检验验证

杨利霞

使用统计假设检验验证
3 n3 `3 p* z% v: |, t  H文章目录

" n* {; {. B( ~常规检验
二项检验
' Q' N$ J/ y0 o* Et检验
" o& G1 }4 P7 f+ }一个数据集比较两个算法的检验
; N, s4 V! I( C4 _0 S" K9 v) @交叉t检验
McNemar检验
一个数据集比较多个算法的检验
Friedman检验
Friedman检验图
F检验常用临界值
7 ?8 b) V; T/ D, BNemenyi检验常用值
8 M, T: }5 Z, x# Z闲得慌
统计学是以小样本来估计总体。
, m* E6 n, `  |% S6 o+ N  m
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
; b2 J( K0 X* o/ W3 {2 _& q
5 c8 R6 x; M9 d& S# w常规检验
9 M9 t' u& H* C
2 a# S0 H1 ~0 o: Y: ]% [( h二项检验

假设检验步骤及二项分布的介绍
7 l* v0 E. ^* |  M

6 l/ r% e1 Y' u9 Y# l1 f) ^
t检验

多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
5 W1 i# y9 y2 n1 g  Wt检验可分为单总体检验和双总体检验，以及配对样本检验。
9 H' p7 @8 z( ?+ c三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

4 z8 k! y( B* H0 O4 g# g" q一个数据集比较两个算法的检验
1 Y* A6 \# v1 i/ ~9 b/ k% x$ g
交叉t检验
+ ~6 Q, F9 \! r/ J9 Y% _0 c
. W# B3 G3 I5 v, Y9 w* Q: [交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
7 n% S# D9 u7 Y基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
: h; ]" b4 t+ k+ t0 z* w假设：学习器性能相同。

  W  F- g0 S+ A" v; x
$ c/ `3 E+ R( ]* E) y; c
# k2 h& T7 ?0 K1 w1 h$ D1 u+ YMcNemar检验

0 ]3 y3 q8 A- d卡方分布的解释。
McNema检验是一种列联表的同质性检验。


& b- c1 ?% r, L
一个数据集比较多个算法的检验

两种思路：
8 s: Q# R$ n& Q% ?
算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
7 a1 Z9 Q+ I4 y; g% aFriedman检验

0 Y+ j" C  U2 s8 y- D1 [  ~先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
6 u9 J# F6 f6 p! |: u


  z, B; C* f4 fFriedman检验图

F检验常用临界值
5 w0 v( m1 J& D$ f; C  H6 w9 s9 h
Nemenyi检验常用值


+ c0 \: _1 E; `3 |# D+ |9 o————————————————
2 B) S. k7 o2 t3 t$ Z版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
7 j' H/ i, w/ m  V原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
/ @' c$ F* }3 a  p& @- ~% ?$ w
7 `! g3 F" b) Y8 h$ Z5 n7 g
+ I3 e; B" R# A8 G