使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
' v# y2 U* s# u8 t: K) Z
常规检验
二项检验
t检验
一个数据集比较两个算法的检验
交叉t检验
6 ~$ y" [& D3 u3 T1 m: }% eMcNemar检验
一个数据集比较多个算法的检验
Friedman检验
Friedman检验图
F检验常用临界值
Nemenyi检验常用值
3 G$ P  T3 [& r- G. [* m闲得慌
统计学是以小样本来估计总体。
) x. Y4 {# S7 G$ U% r! p$ c
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
8 d; `: B2 H" P4 n, o9 T  w
! q6 J1 y3 M5 [, p( ^. q9 i& p常规检验

二项检验

假设检验步骤及二项分布的介绍

: _4 Z. e$ F  e( P8 }: G' G: `
. p# B' Y" w: g7 }
' N1 ?$ W6 c, k# M3 ?' ut检验
; R2 n2 a. p3 _* I3 ~
" k2 w1 t8 D* K" e多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
8 v/ T, }, M* @& [- Y4 d
一个数据集比较两个算法的检验

交叉t检验

交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
* S$ E5 f# w  M$ @- ?9 `7 Z- S
: U5 i2 L& r! \* f% k& e5 {1 k* A/ C

McNemar检验
/ d0 r  z5 b+ ^& y3 G  i$ R% m
卡方分布的解释。
McNema检验是一种列联表的同质性检验。
: C9 g8 M" l0 [1 k


0 g( A. F; }5 C1 t* ]一个数据集比较多个算法的检验

$ t" k& P4 v% C: X% e两种思路：

( T, J3 x: @  k! H: c6 {; l- D4 x算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验
8 N) k1 l- z" D% P$ o/ \$ C# w
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。



" r, [- u; T4 B, x( FFriedman检验图
9 n1 _3 W# J. N0 x1 i9 S
: r- [% V: ?3 t1 {$ z% lF检验常用临界值

Nemenyi检验常用值

  |* G& p( y6 F
+ K4 j6 P& V/ O+ }8 @. k————————————————
3 S- B! E( F) }9 F* G版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
  ]- {! u: J# H/ D' @0 A
! k' E1 ?9 D4 X7 \