使用统计假设检验验证

杨利霞

使用统计假设检验验证
, ^! a0 m) Y1 _- Q文章目录
9 X) T' [7 K, {9 y
常规检验
二项检验
t检验
5 J/ V# e4 D4 K! l- i- i- A' B1 B! j一个数据集比较两个算法的检验
交叉t检验
0 P# ~, \6 }, VMcNemar检验
一个数据集比较多个算法的检验
Friedman检验
$ m0 F0 J' Z" W+ E# O9 [8 EFriedman检验图
& g* j: [( C9 G. v$ i) X" WF检验常用临界值
: c# |/ y3 m  H8 _! P0 iNemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。

在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
4 T5 h9 w" `* J* w# B; U  m0 c) j
常规检验

$ [; O( c: e" I) W二项检验

9 [2 I1 G' E/ x4 N% ]$ D假设检验步骤及二项分布的介绍
, l9 H1 V; T% Z- J' R
6 O' M- T% z' C
/ P- i/ W* |) n, u, n
2 v3 @) S# g. M% e/ yt检验
4 j9 E8 d8 [( P; S1 o) C
0 H3 c: r% h) H5 }  ?多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
2 W+ l* T+ q3 j3 s9 O2 `1 _6 Gt检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
6 @3 g2 f4 c7 M  St-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

9 V6 k9 ?, b1 G9 ^: Q: t& f一个数据集比较两个算法的检验

交叉t检验

" z* X4 U9 M$ k' R; e交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
  I; a0 d( i+ h假设：学习器性能相同。
4 r& }+ \9 P. c# x


McNemar检验
/ T1 N: G( y9 |/ y8 j
! }8 G, a- c) z5 ]% M; g卡方分布的解释。
McNema检验是一种列联表的同质性检验。
& W$ @* q1 [" a* U9 W: v
9 O5 i6 R2 F! P( `: ~, ]0 v
5 R0 @) x& L" w) w, ]
& }( F6 s& z( c6 I一个数据集比较多个算法的检验
1 X1 Z; p( Z+ B8 N
5 ^# |( s& U5 Q6 v2 e两种思路：
+ d/ v/ g5 N1 U0 R" u. P3 N
算法使用上述方法进行两两比较，直至产生结果。
3 S( K8 r, x. S: b8 Q8 B对算法结果进行排序，如Friedman检验。
Friedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
- V9 T4 i& Q3 t% N. K  B

, e/ t2 R& o- v' J0 g
2 `5 `, w/ s: }% ]1 s6 eFriedman检验图
3 d; J8 v( T- v) M* q- M
% o9 N3 N' T: {1 m4 gF检验常用临界值
: ~" ?; l3 L- Y! U/ [% x
- }; n* }! k4 V2 B" W0 k. B0 CNemenyi检验常用值
4 ^6 j6 t$ N9 G

————————————————
, C& F- S1 O# v8 S. s版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
6 _# V% J, G6 E0 g  a原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333

2 ]5 v# f, r$ d$ x  [7 R