使用统计假设检验验证

杨利霞

使用统计假设检验验证
" ^- M4 e9 m' \# W9 ]) u文章目录

常规检验
二项检验
4 e# d: s" [9 Z7 X1 Lt检验
- B. @3 `; H, \; S2 H一个数据集比较两个算法的检验
4 g4 P$ {# y' {- Z9 R2 V交叉t检验
0 Z4 U% A7 [7 u1 x8 Z/ yMcNemar检验
% d$ N: k4 K2 {+ q) L' X一个数据集比较多个算法的检验
' R6 p: ]% V% q0 A" ?! uFriedman检验
+ O8 s3 Y, ~5 h+ G" |  PFriedman检验图
9 E- k- a$ m# f0 B  kF检验常用临界值
6 _/ S8 F: Z( U6 a( |  c( oNemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。

" P" ~' D7 N" s在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

+ H/ |6 V5 [' Z  _/ J% ^常规检验

& x. M; p5 J9 I5 R, x9 M9 z二项检验
# \7 W" P& }3 B, x# g/ F
假设检验步骤及二项分布的介绍
5 Q* v$ j; r1 c6 F& r
+ y: Q9 r) b! j+ h' }9 A

t检验

多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
/ [; x- {, T6 r8 r. g* a
一个数据集比较两个算法的检验

交叉t检验

  x( z3 ~9 L7 @" {- r+ [3 ~7 S  e交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。
$ k( |; m9 c" r0 z; O& l


; b1 a: @# r8 N/ O/ b( X5 W( ^! D5 LMcNemar检验
  W+ M) R# H! A$ g
1 w5 l/ O' E7 @( q( n$ y卡方分布的解释。
# H8 G9 Q$ I. Q1 vMcNema检验是一种列联表的同质性检验。
$ t8 K5 a* f% u# a. ^
1 n3 J8 Z0 B* X" Z3 [1 u. t
# S: |; K# P2 V/ o# S9 Z; N- g: {  j
/ U- {( `4 i, w- h+ A8 E: B! u+ f一个数据集比较多个算法的检验
% A% S, h+ p0 [# h9 y8 o$ y
! l/ @; n+ \5 D% {) W7 C* T两种思路：
; Q1 u, \/ |* }: B3 C; u$ F
算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验

% T( f) o- f2 _6 \: `先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

8 M) R- ^* a/ u+ c

Friedman检验图
0 F; E' @! T+ z# m8 b* ^: n
F检验常用临界值
1 z" c3 V. |9 N# y8 G
1 ^- Y' G- R- ~! e0 p. _Nemenyi检验常用值
& q8 [* o, r7 \# r1 a4 i8 P8 e7 w
9 h+ z$ q; b* R; M+ ]% Z8 G
————————————————
4 L4 Q) M# R) n2 B版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
! t- @) m3 V) P原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333


3 Y: G: Y' Q; R. x. @" v# a