使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录

8 X8 k6 c6 G) N常规检验
二项检验
+ l  X; q) M7 l9 tt检验
5 a! U: W9 y2 I& o3 P; E一个数据集比较两个算法的检验
7 {; O5 J* T" C$ z7 i交叉t检验
McNemar检验
  Q" Q6 k! h8 q, c$ B- c7 T5 B一个数据集比较多个算法的检验
Friedman检验
Friedman检验图
F检验常用临界值
; T8 O. O& u# V5 T% a/ INemenyi检验常用值
' o+ Z7 U' K8 Y# \/ ^4 u闲得慌
统计学是以小样本来估计总体。

在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

常规检验

二项检验

假设检验步骤及二项分布的介绍
" j+ {7 x" K" }+ z7 n

  t/ l' r8 u( p; e' j
t检验
- ~( w3 x& y2 Y$ d$ \5 u
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

8 Y# Y6 K( H: Y6 O0 T一个数据集比较两个算法的检验

, [, f6 c' @; U, j4 P9 x交叉t检验

交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。



McNemar检验
: r3 r. r! N6 m
卡方分布的解释。
2 _, c& x& f9 p9 e& WMcNema检验是一种列联表的同质性检验。
& W$ f6 {. v* v( l' Y+ Y$ c3 G

8 u( s. U4 c9 T% v4 X. i
一个数据集比较多个算法的检验

5 c5 V/ E7 H$ b7 V7 B/ o! r两种思路：
* m1 g3 `' Y  V* U: q3 L) z) c
算法使用上述方法进行两两比较，直至产生结果。
! V+ b$ ]! l, G( }9 R* m对算法结果进行排序，如Friedman检验。
Friedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。



Friedman检验图
" v0 B' j8 N$ \+ w4 `
F检验常用临界值

! l3 K- C  j% s" R( w! I9 GNemenyi检验常用值
2 o5 n* s8 f7 b" f( c

————————————————
2 `0 O$ u4 C3 K; f版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
6 p9 [0 C8 ?2 b( c原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333

0 V! O  g( b" P/ t
" N7 ~, I( _) l# d6 Z: i