使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
7 e9 y0 X9 @$ p1 o2 I( t* T8 Y
常规检验
二项检验
t检验
一个数据集比较两个算法的检验
  A! u  M* \, m& G2 T; B5 L; {& q交叉t检验
McNemar检验
一个数据集比较多个算法的检验
Friedman检验
Friedman检验图
8 S7 y4 @3 j% s7 E5 Y- N5 `F检验常用临界值
Nemenyi检验常用值
# v6 l) r, g/ S4 O' f  d. z: l闲得慌
+ }: I2 F" H/ v7 f3 ^3 X" L% x5 g# ~统计学是以小样本来估计总体。
% y2 X; ^3 H0 w5 W2 _
. W0 X; b. `& c: b2 v* A. W( }在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
5 l) S6 L, }; e$ U4 s4 p/ _
+ e8 Z2 [7 e" S  }常规检验

二项检验
6 g! B( W+ i0 \$ M  G
6 v+ r! F) [, t7 ~  K假设检验步骤及二项分布的介绍
; V% @- S- w, h
  G' _! e. J! J2 y
: `. q" n8 J2 `. W. F
t检验

1 N' c7 Y6 S& O0 [  E4 j多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
8 b/ }4 D8 t% N1 L- T4 E三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。

一个数据集比较两个算法的检验

4 [2 T) z' Z/ T! M交叉t检验
) {' R) _5 T) @: t! N' m
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
  q) w4 i' V8 A7 r, v& L基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
. M, x& D8 N/ g/ ?2 L- }5 g假设：学习器性能相同。
; P) d1 _/ c4 s& ]# |


McNemar检验

卡方分布的解释。
) M) o% a8 o! e- r4 J( t( sMcNema检验是一种列联表的同质性检验。


+ h) _6 u9 R: ^8 p
/ M8 v1 {6 r/ y5 d1 g一个数据集比较多个算法的检验
& G/ B9 J- ]# b- W- t
/ k+ {% U$ L/ v& Y两种思路：
2 o% ^5 N9 c) A
6 ^. [5 r+ e! a* {2 s算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

! }% z$ `, f9 a( [; O( K
9 u4 y' w2 G5 D, d- J/ S
- C" p% W, q2 |Friedman检验图
: g, B2 ^2 e! c/ ~: B
F检验常用临界值
' @) y; Z% F; g6 [% c8 I
Nemenyi检验常用值
) U2 J7 V4 ?- Y# G0 X

; r+ B7 k! p+ N4 x/ r————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
6 o. S) I0 J* a; h) P; h

! |7 W4 B8 e- W2 _% X( j4 q