使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录

8 T3 X  ?8 p3 I$ `" A* X. R常规检验
: u0 D3 d7 o! L0 W$ E二项检验
4 B, b+ w! i, Y' N; u* Tt检验
一个数据集比较两个算法的检验
交叉t检验
( S4 y( s' u3 F3 B, @0 t* mMcNemar检验
" ]% P6 f' G2 F% h9 I8 b1 W5 F! ^2 C一个数据集比较多个算法的检验
Friedman检验
Friedman检验图
F检验常用临界值
& ~+ [. {9 K; T7 M1 m- cNemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。

在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

常规检验
. Z# T8 `3 X  o6 u
二项检验
9 P  N( X& N% w/ A+ E. L- W
6 C& {2 ~6 d- ]2 R( a假设检验步骤及二项分布的介绍

4 {3 e  R  u, ?
5 K+ Q& E( p4 z8 k8 C: \
t检验

多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
$ `, l/ y  D, ^# `; N4 Kt检验可分为单总体检验和双总体检验，以及配对样本检验。
+ I! |. ^5 z* F$ H0 @2 m三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

一个数据集比较两个算法的检验
5 y& L0 }7 G9 e: J7 C' |
( h1 A9 b" x9 S$ B* k" ?交叉t检验

; n+ V: b/ Y3 ~0 F交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。

' o/ E* y. y( S, ^
( g* Y+ L4 P2 O
McNemar检验
6 s6 A9 F8 V( d; ]( r. U" Q) m
; V/ ?/ @; q/ p卡方分布的解释。
+ u7 ^  c! P4 o, w5 MMcNema检验是一种列联表的同质性检验。



$ J% O8 C- Y4 V4 s) t: d一个数据集比较多个算法的检验
* `: i. }) O" E2 T/ q) Z
两种思路：

算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
3 C8 W  Y' ]* f8 `4 i) L5 k  ?5 rFriedman检验
# j: x  y" H0 C6 e$ l: p
7 L  T6 l" ^& C; @$ C# W先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
6 w3 `" [. }5 c1 a# u5 S

8 U6 X1 f3 r3 c( Z9 K; e
Friedman检验图

, z! A# j/ l7 ?5 kF检验常用临界值
# ^5 A0 E7 J( h/ c
$ ?2 s, b9 G4 t1 L, rNemenyi检验常用值

/ H* Z* l3 J0 W' W0 p
————————————————
  a8 ~' g' z: [版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
. u3 P( l( ^( L4 y& J+ j原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333

) \! I" J  K! j( S+ {/ F6 |
) l6 H. ^& e# H