使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录

常规检验
二项检验
4 u7 B$ a5 M, A/ jt检验
3 D) e# u$ \  {5 y' R一个数据集比较两个算法的检验
* S, i4 n2 ?; X7 ^8 A交叉t检验
McNemar检验
一个数据集比较多个算法的检验
Friedman检验
  M: g& C, f; ]6 t# c2 kFriedman检验图
) ?3 @6 V& l) {$ Y$ \" QF检验常用临界值
0 G0 \3 d" X; Y9 ENemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。

1 }- D* I8 V7 Y: }) H0 R! z9 q在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

7 C8 r1 N* l  ]2 R" r常规检验

. Y* F- R) W! U  @* }  t二项检验
% `  d# F/ R3 Q# R. Y
) Q: w  q5 s5 S" o, J5 s6 l假设检验步骤及二项分布的介绍


2 J, T, t& p) Z5 h
t检验
8 o6 \, ?3 L9 K+ ]' d9 A( @
  M* q6 e% [+ k5 U+ q0 b多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
) a3 O  J# `% d/ x. z9 jt检验可分为单总体检验和双总体检验，以及配对样本检验。
  x. a. N8 u) R6 g3 @" o三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
& r5 h) m/ i) T$ K9 [2 S
一个数据集比较两个算法的检验
9 h) Y$ j  G1 f, N3 L
交叉t检验

交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
: X7 U( A7 b0 F, W+ N


McNemar检验

$ N( p# P& C1 z; }  G+ k) \8 {卡方分布的解释。
McNema检验是一种列联表的同质性检验。

- x3 n; N0 \$ M/ _# I$ a
3 U% H! _9 \( T: l+ i/ P+ S7 h# \
一个数据集比较多个算法的检验
: F4 o5 t8 c1 V; R& w' z
4 R0 C6 T. Q5 u6 g, C, {7 Y两种思路：

算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
% `9 w9 a) u1 L' m& _. ^Friedman检验
- F9 z( G( H8 D: T
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
) @9 F& j# E) F
0 M5 z: k  X1 F0 Q* C6 {
' h& x0 g: m; O8 J$ l: G1 W7 k
Friedman检验图

F检验常用临界值

+ Q" G8 d3 a5 E( z: gNemenyi检验常用值


————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
0 q. t' [: L- J" @9 |& D; @原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
7 {2 b. J% R+ K
( n- C& v# B3 ?- `6 }( L
! w8 O  h: Y! d: |