使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
" B. Y; c% y2 b! j8 K+ h! g
常规检验
二项检验
' s" d  N; f4 }; ?7 Pt检验
一个数据集比较两个算法的检验
+ W$ j7 b# z" E  C2 N5 v% F+ @交叉t检验
+ t+ A# k  I/ q! V! R2 UMcNemar检验
( C9 U& F# D4 p% L一个数据集比较多个算法的检验
Friedman检验
Friedman检验图
2 n1 h0 \# d3 O" e1 YF检验常用临界值
Nemenyi检验常用值
' ?- Q. F9 O1 k# T- [( s0 r闲得慌
统计学是以小样本来估计总体。

在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
1 s5 t6 {' Z/ B6 \) G$ F
( f9 b5 _  E2 k% r* {常规检验
' t' C' z- j8 s) V# x- c
二项检验

假设检验步骤及二项分布的介绍

! c, x) O8 z  b+ j

3 M( N9 j) n  Tt检验

6 C  i# S( X- P多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
5 Y! J( z* |& B0 Q/ d$ ^+ dt检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

一个数据集比较两个算法的检验
: w* M7 F% B( B7 e: ?# j1 O
) j  r- I  o8 H5 T' r" Z交叉t检验
! K0 V& |& q3 c
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
5 x# X: H* z7 G; q: N8 y


McNemar检验

卡方分布的解释。
* }% m  ^; u. x6 gMcNema检验是一种列联表的同质性检验。



4 ^0 a. w6 I* e一个数据集比较多个算法的检验

两种思路：
4 Q5 U1 G! g! I. Q- W. y; Z
& _# c) ^5 k$ x' E) q& @算法使用上述方法进行两两比较，直至产生结果。
. `* k. g1 t7 w# X2 `+ s对算法结果进行排序，如Friedman检验。
9 m- f5 q& O/ N) O2 N% eFriedman检验

$ C% _" Q' u$ s# y' Y" N* ^6 V先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

4 A, \& d1 c+ S7 X

Friedman检验图
- f4 Q4 U! n! p4 _* N, ]8 i
: P/ O& r! O: }- N6 m3 zF检验常用临界值

Nemenyi检验常用值

; l6 ?/ J, E, d& ]" o
3 _, I0 R: ~; Y2 H- a7 o————————————————
7 z9 `2 c/ \$ E5 c版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
4 Q2 D/ h+ L! p原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333

9 h- g& q) `! |( a" X6 K; k