使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录

常规检验
$ k4 R' n" h5 Y8 n' b+ V5 N; ^+ H二项检验
3 x, t2 B, i. r" P- ?t检验
  @+ |3 H% m; K3 \; s  A' V一个数据集比较两个算法的检验
交叉t检验
" ~' l- q4 E7 u5 f: Z1 ]McNemar检验
8 S2 B4 `3 C. l一个数据集比较多个算法的检验
7 U2 U+ w0 U% c: T" s7 iFriedman检验
Friedman检验图
F检验常用临界值
Nemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。

6 Z5 J6 t' ~4 a, b  D8 V5 m$ R( ?在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

常规检验
6 F4 f' p& p/ s8 j+ r9 ?
二项检验
/ S6 z( ^: V8 S3 r2 d( c
假设检验步骤及二项分布的介绍

' o6 l  P; b! W7 @5 T7 J7 ~
) f* B0 k' s0 ^! `+ M* @+ w
, C$ |7 T* m0 q+ c6 x7 P5 s# jt检验

, b# M) T5 ~! T" N6 y( G多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
7 ?9 }- _) {4 f9 n7 Q, _t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
  w1 @  M' y, o) }: H, B/ o8 w+ tt-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
7 }) R6 }% ?) d, i8 M
一个数据集比较两个算法的检验
+ Z" D3 G9 P9 B8 m
交叉t检验

' L2 T* @6 |3 l" ~/ w交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
' u1 v# t! x( E2 z( Y: X6 ~1 [假设：学习器性能相同。
2 b9 R' Z" s+ x* K; I1 s


McNemar检验

卡方分布的解释。
- Z5 z. j5 k' _9 B" c8 f8 M+ @0 pMcNema检验是一种列联表的同质性检验。
* F3 I* k* y# V% T6 }( Z, [


- M, l5 r8 e! z7 O8 |  Q一个数据集比较多个算法的检验
9 E. H& N# Z# x4 e
9 i" d+ N5 V. N0 O; b; }两种思路：
' ]8 `8 E; J& D6 D& R& b
算法使用上述方法进行两两比较，直至产生结果。
; `! V5 \( w( |( A9 x# Q对算法结果进行排序，如Friedman检验。
Friedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
/ T8 u9 J% g4 m8 t1 a7 d# {: z, p

# u) h/ g1 P/ g+ o+ D9 O5 `0 u
Friedman检验图

8 x( w% y, U) }* f4 cF检验常用临界值
6 k0 T( x7 y5 Q9 G9 e2 P$ r
; S. o# V8 n: k- D, H- bNemenyi检验常用值
# @* G% T- _+ V2 ^6 N
( v7 e* m6 @- ?& i) \% }
————————————————
- Q- f" E. g7 y& e版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333

, \9 o1 D+ y$ _8 s' m2 F/ y+ f