使用统计假设检验验证

杨利霞

使用统计假设检验验证
+ A" g$ X3 `6 e. G9 {- o4 _文章目录
$ {+ q, \4 n( A$ u  C
9 X& O7 w- q! n8 q" X( r5 c# X常规检验
3 Q, S4 o* y6 E二项检验
5 c6 A8 ^0 F4 `) Q* ~t检验
一个数据集比较两个算法的检验
交叉t检验
McNemar检验
一个数据集比较多个算法的检验
: b# q/ ^% Z3 S. I) H( YFriedman检验
5 z1 h- b7 }: x0 t( G) w% aFriedman检验图
/ N7 R. ^% d4 L+ v2 P2 Y4 oF检验常用临界值
Nemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。
0 H) \( I: R1 ~4 U1 e3 e
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
2 h9 ^+ ~+ }+ {2 `' L
常规检验

' K" S+ p! Z2 r- [: M; b二项检验
! A9 v% S' k5 g. }! a' Z# ?
假设检验步骤及二项分布的介绍
4 e/ p; r6 l1 x" p) J6 `
2 s+ y$ \( p& p2 S
2 {4 t! }4 \( Z! [9 B
t检验
! _7 X1 ?* \) E% g# m1 Y7 B
/ m9 r0 W" L! R& m3 i6 W多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
2 A1 r5 v, S; E* w' u# A$ Kt检验可分为单总体检验和双总体检验，以及配对样本检验。
: _  e  ~. c% y# e4 h三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
  d2 s- p' [" @7 E" c' H8 j
一个数据集比较两个算法的检验

交叉t检验
2 O6 d, w9 T2 U" u0 t
% M2 m$ e) a  O( T5 _交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
3 ^& q! K2 o6 H7 D" H

3 p  F" C* j  T
McNemar检验
* y1 {, w) [( l4 H. I3 T
0 d) g, ^% L4 |1 ~9 z$ o& S% n卡方分布的解释。
McNema检验是一种列联表的同质性检验。

6 Y  W/ e% f# @
& V0 h# A0 G$ v9 Z, }% B" b
) `' H1 G4 Z% ~2 Q$ T一个数据集比较多个算法的检验

7 |3 c! |# X: ?* v1 ?两种思路：

4 S7 ]. F. v$ w算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验

6 ^+ N% q, M% ~8 I$ p先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

( _' Y8 `! F2 F3 u
/ u, A* G6 S5 d+ u
' x7 G  k9 ?  @( |5 T* l6 SFriedman检验图
! H+ l) P4 a9 a/ q/ c
F检验常用临界值
- g. N' ?5 {4 L& D5 {; w0 c
Nemenyi检验常用值

% t7 |5 x/ y/ b% g1 j
1 P( ]/ J" \$ Q6 W6 o) D( G————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333

; z5 x* V: D' x; |- }; q: J( t