使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录

常规检验
: z; s3 ]- p/ H二项检验
- h5 X: u2 ?, e6 ^t检验
一个数据集比较两个算法的检验
交叉t检验
4 j  P/ M4 s" e( j) I' e8 M+ JMcNemar检验
一个数据集比较多个算法的检验
" E3 J9 M  M) H0 ^, ^7 rFriedman检验
Friedman检验图
F检验常用临界值
9 H8 @0 W  R' D; F  ENemenyi检验常用值
& x5 H( s# P' P闲得慌
. `  P" A+ y  r2 U, g2 m统计学是以小样本来估计总体。
1 i3 g6 Q: z  R8 k* |) m6 b( P; a3 {% e
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

2 [  U+ Y' c# L3 Y$ H常规检验
6 z- {. |6 ^9 Z6 |
二项检验
* s, x) r5 d5 |7 |' \2 w- Z
假设检验步骤及二项分布的介绍
6 H+ w6 A3 {9 o9 U, z7 W


t检验
5 w- C; m7 \2 K, P6 N$ O
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
, F3 x4 O* L* L0 ?t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
1 x* \8 k# `) l7 t, I" O7 V) o
一个数据集比较两个算法的检验

交叉t检验
& g) N% @1 Z% n/ n
' J, E5 Q, I' R8 L交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
- _# W/ ]) G; a9 F, }
& K% }: S1 ]5 F0 {' |; H" t
# B" }" k0 q( B+ r5 [% F" \. o3 R
6 b/ ?+ P- _& H: }# `McNemar检验
+ @* G. r* L. e
卡方分布的解释。
& @+ t% j; O0 c, C2 f. u; W1 \+ cMcNema检验是一种列联表的同质性检验。
+ F! |2 _; ^" u$ }" ~7 S


一个数据集比较多个算法的检验
; e9 `- A0 U7 \# Q. f
两种思路：

$ R. Z7 B5 u7 m( u' Q5 _% |算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验

/ M% a! `9 f% g; e& _先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

% s$ m- S; P3 _9 U9 j: L
4 o& B0 z% b* B8 t& j! D
: y2 X5 }  v0 T- `) `2 m0 S& CFriedman检验图

( N6 f& m( p4 W  c# @* OF检验常用临界值
; Z" ]( I! T  y& k
! T6 d) n% A( i$ l0 Z. ?  }Nemenyi检验常用值

4 C2 M- g  U( b
————————————————
0 l$ b: ?  W/ ~6 ^- F6 m) b+ u版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
$ L. g( u# M) K- x8 g) h# q原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333


2 d! y" a* E8 l: o( {, N! ~