使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
+ ]9 }0 W& ]1 P3 ]6 X4 h
常规检验
二项检验
t检验
一个数据集比较两个算法的检验
/ R1 p  K* y; V9 Z交叉t检验
McNemar检验
9 B3 h! S. y0 v; l一个数据集比较多个算法的检验
1 I! ^8 e5 ~" v% B! D) d9 VFriedman检验
Friedman检验图
, j/ i( Y- E8 s8 J8 ?/ G, c6 iF检验常用临界值
9 c, B6 w0 q! Q$ y/ W' zNemenyi检验常用值
4 U* n# e- E1 d1 k闲得慌
3 V+ y# Q& Q) l" b' Y8 J7 }统计学是以小样本来估计总体。
" q) r6 O2 r6 e) a
1 g  d3 B  R4 E9 x( H在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

$ s/ d% W6 @# X; @7 Y常规检验
$ _) v9 |  L' W: ?7 q
二项检验
' H) h, {& a0 i# c3 `
- w) k( d" c9 T9 ?8 `) m假设检验步骤及二项分布的介绍



! o1 D# w6 G8 e- Q3 ft检验
3 R  ^; G7 B# S8 O6 v: B+ ^9 \
4 Q' {) Q5 G  G9 x# f多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
  V' l9 f" X% P9 Z9 G, o, J
一个数据集比较两个算法的检验
, L, V) K, }5 n1 x* O6 J# O. T
8 g4 b3 G4 y% X  E交叉t检验
& \& [* K, V$ D  ]- q: I& s1 \
4 T0 W! j& H! w: K* I交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
7 I) [+ r0 x9 h/ Q基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
, B9 Q2 h. M/ @2 x, P  b# _

- X. b9 V& k1 _8 a
McNemar检验
) f& I) W6 P4 y. V& Z
/ i6 C$ ~4 V; W1 S卡方分布的解释。
McNema检验是一种列联表的同质性检验。


' f; Y1 n! {1 r5 ^0 O1 V
一个数据集比较多个算法的检验

2 O* g2 p2 l4 r7 [& R# \: `两种思路：

' L/ i+ W% R" H+ m5 G4 J% W) l4 ?算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
* z9 k/ f4 p, P& b( y# |( S! Y. [


/ d; J* K' H: N' YFriedman检验图

F检验常用临界值

Nemenyi检验常用值
/ H5 t5 V1 t' y7 A8 a( X4 l, Y

————————————————
& U& X" f' q; G版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
) j' G  r0 f: n原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
, G. u* s, Q0 u1 N0 \. H* F  \/ {! }