使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录

常规检验
二项检验
t检验
) c/ z  O6 A5 l, J2 X一个数据集比较两个算法的检验
# n4 u# J1 r. f0 u! {5 {; w& m9 O交叉t检验
$ b3 ^- ~5 K4 z, IMcNemar检验
一个数据集比较多个算法的检验
1 z3 G- a" V3 M0 `3 [1 Z& ]# pFriedman检验
3 Q6 c% F' ?4 [/ vFriedman检验图
4 E- F$ \, p- ^7 X& bF检验常用临界值
" E+ s* C3 r4 J: CNemenyi检验常用值
+ E9 C2 Z0 [, O- C+ y( v/ [' a  u1 I闲得慌
7 `% r0 ?* M& `; t统计学是以小样本来估计总体。
* Y1 m7 u+ B" e# v
2 z1 H6 b2 h, D在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
/ ^3 @  h/ t* m, [
常规检验
1 `9 P' ~8 P+ t! e! E. B
6 I8 P* _0 G4 k* x7 g& u% h5 J二项检验
2 f5 g3 P. v9 Z5 v
假设检验步骤及二项分布的介绍
' m  a9 S# y" w9 R
8 Z, S3 u. I2 W
8 A" W. w0 [% T! b
( i0 M' I8 @0 n% wt检验
. x$ l+ y3 k! s+ b
% B7 d# ]2 @8 J' B) Q9 U1 H多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
6 k$ y  ~; D5 e9 Z8 p/ O8 _三种T检验的详细区分。
% F4 t3 j  e4 R7 Wt-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

+ I) x1 W0 \# K0 B9 h8 e一个数据集比较两个算法的检验

交叉t检验

交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
+ G; O  S4 t% z9 A' y


McNemar检验
- N! K2 N' A# H/ c: l( z' ~3 `6 ~7 H
卡方分布的解释。
McNema检验是一种列联表的同质性检验。

( w: J! a* e+ v# w8 s( u, ?
2 N! _/ \' t$ I2 Y6 }/ N
( x* Z, n: h$ o1 ]% y2 a一个数据集比较多个算法的检验
1 Z8 o% E  ^% O
两种思路：

算法使用上述方法进行两两比较，直至产生结果。
& v% O9 n: \; o! i对算法结果进行排序，如Friedman检验。
Friedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
/ b- ~5 X) d8 r
3 J) ~  `. X2 C. ]7 P) f/ J
( t0 O( P% }* Y# [3 e
Friedman检验图
4 D- x$ t% d0 I  [, d3 }3 J
F检验常用临界值

Nemenyi检验常用值


# F+ p# @# L% [: ?" C————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
4 O; ?8 z1 P- S5 r! F3 ^$ q

! j) r  k1 w  {# a