使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
* W) \! N( l' @3 N# n
常规检验
3 |0 `, x) N  C二项检验
t检验
9 A4 }& W+ X" P* O一个数据集比较两个算法的检验
' q$ K+ B5 c; O- M* l& L) L& M交叉t检验
! f' g, e$ L, k0 H$ F# UMcNemar检验
一个数据集比较多个算法的检验
Friedman检验
Friedman检验图
F检验常用临界值
- Y0 @: p& m, A* R- U5 ZNemenyi检验常用值
  a, c/ a. I) I2 I  c* q闲得慌
# W+ O% f3 K9 h. y2 O统计学是以小样本来估计总体。
- ]1 B- l: A) U9 @& V
, O$ [0 q) A  I1 W7 e9 m& b% x. L在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

常规检验
2 J5 h  S) Z$ I3 v
二项检验
4 F" z' `# {7 q% x3 U6 a
假设检验步骤及二项分布的介绍
5 ]! y5 {6 ~8 [; B0 ]' |$ X

3 e! t' r: p( X% q0 P6 B
t检验

多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

$ r5 |2 u2 z8 h/ M: p! x一个数据集比较两个算法的检验
" o8 x/ s5 G* ?+ {: F  C, _. W% q  r
: {+ a7 {" l2 y% k9 y5 t交叉t检验
+ y; ]. ^5 t5 u1 s
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
+ ?$ @3 K8 b; u0 p- s假设：学习器性能相同。
: o2 h+ u. `( }* K

- [2 z: p  m& F! T* Y- j; h4 t
McNemar检验
/ O9 ]; x  a/ K$ Q3 V" w
卡方分布的解释。
6 A) ]; N- M3 FMcNema检验是一种列联表的同质性检验。
6 V" Z$ o+ X* p, n! \
. [9 E2 s5 l( [

一个数据集比较多个算法的检验

5 g3 {* l9 v) i$ ~% [8 z5 g4 o' ~两种思路：

2 E) {" i0 Z0 N. X# }算法使用上述方法进行两两比较，直至产生结果。
6 F; L/ o1 t( M0 w& @对算法结果进行排序，如Friedman检验。
0 K' m/ G  i( WFriedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

+ y  ^$ P- Y! Q) d9 e

Friedman检验图
' U  M. g" s" i1 X# ]
F检验常用临界值

  I/ ^1 W/ W4 ?+ `. z/ \9 g* s  dNemenyi检验常用值
5 \; ]" x9 i' i

+ ?: h8 L4 b+ h5 G8 z( T2 h! w————————————————
; {( a. x/ u0 j: c4 g版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
& W! G; C6 T* ?

' N  N, u4 m# X) _0 T1 c; w- Y