使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录

常规检验
二项检验
4 _. l; J: S  |7 S1 st检验
一个数据集比较两个算法的检验
- X" c$ l; [9 r$ F2 H# t9 E交叉t检验
! p0 z$ H8 v' J7 HMcNemar检验
一个数据集比较多个算法的检验
7 @6 Y6 g5 m7 t3 ?  M9 ^1 ^  Z$ [9 E- bFriedman检验
7 r  o' X5 t% u! Y( g4 u, p; i% SFriedman检验图
F检验常用临界值
Nemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。
$ }5 ^1 Q" q# A5 V+ [+ p4 i
+ i; t4 p3 x4 x) @( F在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

常规检验

5 \& |  \1 e  o2 ~; M. V二项检验
) J6 c  n0 P+ b# r2 x7 z! |
8 ^, O9 Y' Y; C1 ]假设检验步骤及二项分布的介绍

3 h& {+ u- v4 p' j) t& }  t

t检验

0 R9 r. i, d2 r$ @  }多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
; Y2 A/ L, z- r3 O! a' X2 j5 Z三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
- H/ R/ B; F8 D5 g$ T% X' R2 h
& l& T4 P2 o" Q4 ?9 E4 n2 w一个数据集比较两个算法的检验
  M: @6 H' K  _3 U; i$ L& V
交叉t检验

交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
* W! @. I* r% d$ |. l+ K4 w/ X假设：学习器性能相同。

/ R+ h6 I' C9 C: _

$ J( K# e+ N3 k5 x/ jMcNemar检验

卡方分布的解释。
McNema检验是一种列联表的同质性检验。

0 U) s+ y. K) s; w
1 D, F& X% K6 H; n6 p+ e# s* J
4 q7 f( e  N# O* C一个数据集比较多个算法的检验

  ^; U. H7 S2 u$ A* t# U7 H, \两种思路：

7 J; Q8 d: h% g- N% t( l6 m# h, p! _算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验
( u. W3 ]9 y0 G3 @- {
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。


, W; ^$ c+ S( K/ E& }- K- v
Friedman检验图

6 D6 Y# F: Z2 ]1 R& CF检验常用临界值

Nemenyi检验常用值
* K; w% e, b0 C6 @; A9 ?; r  `

$ t( K) y- `3 x4 `- j/ j6 b4 X————————————————
- Z+ l+ A; S- x版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333

" e3 u9 V& j5 \, H3 \