使用统计假设检验验证

杨利霞

使用统计假设检验验证
+ B- N! O# c' F" U) T; L4 @文章目录
$ ^* I5 ~0 d# Q7 ]8 S
$ e! i  C0 Y. \常规检验
二项检验
' X; B8 Y5 D$ K) _/ b% yt检验
一个数据集比较两个算法的检验
6 q7 c+ _. H, R% _& r交叉t检验
3 ^7 b) W6 m$ j( ?1 dMcNemar检验
一个数据集比较多个算法的检验
. W+ C9 |+ ~/ w  @5 U/ MFriedman检验
/ D; @5 s5 U4 B& P7 m8 A0 o7 Q6 m/ i$ ^Friedman检验图
3 y/ W8 B/ |$ E; s! aF检验常用临界值
Nemenyi检验常用值
闲得慌
& h8 [! y; O# v统计学是以小样本来估计总体。

在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
0 A: Z% ^$ Z/ u
7 Q; s+ z* Q' {7 g& v- ]常规检验
2 l/ t, H6 R+ W" U; |/ R
二项检验
) a7 u* y& I/ B  U6 O
/ g% l. V/ ?/ B% c8 L& B假设检验步骤及二项分布的介绍
* v$ h3 i* q. W; {9 p


t检验
5 f- l- C9 @' y5 `
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
( _0 d" w0 O/ Jt检验可分为单总体检验和双总体检验，以及配对样本检验。
9 W; ?7 B& Q' {. E5 b三种T检验的详细区分。
# q! C0 h; ~" {t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

一个数据集比较两个算法的检验

交叉t检验

交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
/ [( F/ u% m1 Y. F9 |


: m% m2 G4 `5 U% c& l( ]McNemar检验

卡方分布的解释。
McNema检验是一种列联表的同质性检验。
3 t0 }$ g1 k$ U8 v" p% l) q
$ o5 {( P. D. o3 ~1 u% S( E( k
7 |/ e4 S1 i$ v6 p# z0 d
一个数据集比较多个算法的检验
  v3 N  `- n# D+ o
3 A$ S& `3 b1 ?两种思路：
5 I/ |0 x& h  {! p. ]2 S" B2 Y
算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
* Y, H# k8 M8 K% I5 o" o; qFriedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
& @' {$ {, m5 _0 x8 A

& q- ^2 D; z/ l- b$ i
' }8 {2 a2 p: XFriedman检验图

5 p: [* r) d( g3 wF检验常用临界值
0 A# |6 G3 S; p& E+ i# l
5 O! ?- D- p! D7 K& r$ |, j$ aNemenyi检验常用值


4 I; S3 L7 H' Z) w. v3 ~————————————————
& r3 e  T# H6 X5 ]3 C2 @7 B版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
( g. U, x8 t8 w" r原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
! U% z/ F" k% M- G9 i6 N" v, A) y# d
+ C$ E1 @; N- b# R9 [