使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录

常规检验
! X9 o9 w3 g& |9 ~二项检验
t检验
0 k; \( `8 @4 D' }一个数据集比较两个算法的检验
交叉t检验
) @8 W: ?4 m) V! G6 d, ^/ b: HMcNemar检验
一个数据集比较多个算法的检验
Friedman检验
Friedman检验图
F检验常用临界值
$ x3 M) m1 k- h1 f# `8 Z  a4 m7 J) y, m% pNemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。

; ?% v/ w; U9 A在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

常规检验

二项检验
  Z% L3 E8 [/ k% q
8 v% M) G6 Z7 v7 {假设检验步骤及二项分布的介绍
2 D5 r( e& p# \7 y- |


t检验

/ Y! U3 c5 M; h& a3 k! X1 t. z多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
" I8 t  ~8 z: @! Y: yt-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

一个数据集比较两个算法的检验
& m+ E& L+ B: O( Q% M# U1 y9 j
交叉t检验
) D. \! T* F& M# v' d5 }6 p
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
% `5 o) U- j9 n+ B  s% V假设：学习器性能相同。

1 r- s9 `) g; \) r
0 Y7 Z; b& n: n8 V  _0 J, ^
McNemar检验
2 @' a9 V0 ^5 D7 q% P5 H: v) o
" ~% v: D- P9 P" |卡方分布的解释。
) r$ \5 x+ \7 LMcNema检验是一种列联表的同质性检验。
3 I! F) c" H; o9 N% N) F5 a# U
2 k( M8 j5 c# v6 M  Z" L

3 R% x2 H3 n* y  i5 [3 f一个数据集比较多个算法的检验
: `  T. u# u! U- v  k2 s4 ]' a2 k
两种思路：

算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
. x/ y& V* }9 nFriedman检验
2 Y0 p& E* p. |  D2 ~+ Y3 ]1 p
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

7 ^4 O8 x9 ^; a  L; S

Friedman检验图
0 U+ }& k4 T2 B5 g; @- C3 z- S
F检验常用临界值

Nemenyi检验常用值


————————————————
% \7 l2 B4 T! P1 o6 G: R版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
* Q* b% d3 @4 ]; w原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
9 m, N" q; G6 Y" ?+ w

) {5 Z! @! G$ ]& H$ j6 S, P( c2 c3 L