使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
8 n/ b2 R  \' ?; P0 n" I2 Q
  T" r& a4 x! {1 A9 q7 }常规检验
二项检验
t检验
- ^( P( @1 v: t) Z4 |一个数据集比较两个算法的检验
交叉t检验
, V8 M: \$ ^: R5 H2 QMcNemar检验
一个数据集比较多个算法的检验
Friedman检验
0 }6 {2 w6 C4 p1 C8 x. ^! OFriedman检验图
* O/ j2 O" B! \+ _F检验常用临界值
Nemenyi检验常用值
0 [8 j5 n2 q" H5 \闲得慌
统计学是以小样本来估计总体。
, j- `9 `$ Z% ^9 c
" K/ x$ ~! F0 _% W/ P" E8 t在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
0 b3 J: I, n8 j+ D: ^
1 D& x5 E: ~) e, S3 M; e常规检验
0 n9 K% @7 R6 w
二项检验
' a- O1 y$ l2 n" f9 u% d
假设检验步骤及二项分布的介绍
, Q6 K8 x& Q' }, X% q


t检验

% p1 y, J+ G) w1 A. e3 L" |多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

一个数据集比较两个算法的检验
& S6 [- {5 T( g: z; ]" A6 ?
交叉t检验
1 `9 A4 h% w! V# d5 `: Y/ \
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
/ g2 r1 `1 t2 ~6 y8 S3 D假设：学习器性能相同。



9 h/ q0 z' Z0 P' d4 Y% NMcNemar检验
* \- v4 f* Y7 g5 B
卡方分布的解释。
McNema检验是一种列联表的同质性检验。
# |2 S% V3 f; P- v2 M0 h# x
5 D0 a3 J6 z" s

/ B5 K7 b( B7 h2 G一个数据集比较多个算法的检验

$ K: n4 n" O, S2 F两种思路：

% E4 B1 i. l2 m- C/ b算法使用上述方法进行两两比较，直至产生结果。
# M- Z. A" z3 s; H% P8 j! w* o. k; t对算法结果进行排序，如Friedman检验。
Friedman检验
, u0 _6 Z2 x- F$ p" R
# |: o& c! J: H2 Y5 w先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

3 f, U5 l' S0 I

Friedman检验图
. L1 _4 a8 w/ X' h1 P- k
F检验常用临界值
1 d  p" ^4 A0 t* G" ?; S
Nemenyi检验常用值


2 r4 v& O: }3 X, G* o- v9 \2 s8 L  d————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333


+ h) f2 @8 W9 r% w5 E