使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
+ S  N% P5 t" J9 b( `1 Q
常规检验
  u: y+ O5 c9 T9 @- f4 X二项检验
0 J+ g, C1 [2 e. \6 r0 N; [  Kt检验
一个数据集比较两个算法的检验
交叉t检验
8 z/ x7 @9 K; G( j+ i, O6 qMcNemar检验
1 B: T; s5 h' w) w% V1 c' Q一个数据集比较多个算法的检验
8 l' b, E3 Y) r1 R& yFriedman检验
4 X- D& s; ^& v% c3 T3 V5 V' ^Friedman检验图
F检验常用临界值
Nemenyi检验常用值
9 |, H" h! f7 w6 X8 }& M7 n闲得慌
统计学是以小样本来估计总体。

在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
0 @6 H: y. e1 F% K* u0 I$ w, z
4 t) t9 v, g3 c% G常规检验
) r$ H/ r) D. Y# g5 d
二项检验
2 _6 T$ L& D9 e) _0 |
假设检验步骤及二项分布的介绍
) w* e& N& s  Y! S
& y6 o% |- ]; W) e+ n, p

6 B+ E/ F5 O6 O4 Kt检验

4 b1 E/ B2 `1 ^! m9 _多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
; l! r: L3 k# B1 d( Y4 m0 zt检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
5 M5 Y7 ]) _$ k( `2 k. k5 F+ x2 W
一个数据集比较两个算法的检验
! ~# D9 }# \4 V
" C  a. V7 H, R交叉t检验
: V' T2 S" |  n: N/ E* i$ @. u
' N1 c& }- ]  ]" F: s交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
" I! p) u7 W! ]) I5 ]" e: X假设：学习器性能相同。
! _. h2 f4 ^( C2 s/ ]
; {0 t5 e2 c. @6 @' m8 G4 H9 b0 b1 R

7 L: |, |" r9 t+ @. yMcNemar检验

卡方分布的解释。
McNema检验是一种列联表的同质性检验。

/ a9 [+ ]5 g* U' O

+ b/ f$ k9 ~) v3 |% {' G! h一个数据集比较多个算法的检验
4 o9 P3 h8 `* ^. }6 _2 T* ?
! c3 m% K: ~% V% `3 s两种思路：
& l- R( S8 Y/ c8 B) k2 ?
算法使用上述方法进行两两比较，直至产生结果。
; I" K5 C8 U+ e" a  n" C7 P对算法结果进行排序，如Friedman检验。
# f5 z* z' Y+ rFriedman检验
# g2 E1 d% E- m
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
' f8 H  B1 }+ c/ Y+ z
3 X4 O9 g/ N- G3 \& d3 V
! `  B" Z" ^8 m+ K2 |
Friedman检验图

% ?- R0 t$ d; i$ yF检验常用临界值
5 ]# A( S3 X1 g$ N4 f
Nemenyi检验常用值


————————————————
' |3 n( k" ]* N: t版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
& \, |1 o3 v% m1 j& g' N  j% @; H8 u原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
! r4 \' ?" x0 o0 p

( o! T6 W, N5 Y9 O3 t: Q