使用统计假设检验验证

杨利霞

使用统计假设检验验证
, r! B- v# B8 \4 n4 [文章目录

常规检验
二项检验
# M6 [- b& @* q* ]3 t% T0 Pt检验
# o9 h. }0 V9 d5 `一个数据集比较两个算法的检验
交叉t检验
# w" T3 |: z. [0 N. ?) P5 `McNemar检验
一个数据集比较多个算法的检验
, e" Q" D( \' Y% W; G# K9 a; k) ]Friedman检验
Friedman检验图
) h: w  N9 {9 H! n* ^F检验常用临界值
Nemenyi检验常用值
9 r7 x! Z2 ^  Z闲得慌
统计学是以小样本来估计总体。

. ^  X# u! e0 C  B在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

1 L4 \! u3 I- G$ ]+ Q/ F常规检验
9 P8 {' A* R' Z& C4 J
二项检验

假设检验步骤及二项分布的介绍
% }) u: K+ s, V% w7 A! @9 \
9 J1 p* U( @# `. |! s! `! _
" o( \. k' _6 ]( B4 L1 f
t检验
9 U7 e+ I' G3 b# j& B1 b
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
! \& l/ V4 X! ]5 ]5 T. ^$ Zt检验可分为单总体检验和双总体检验，以及配对样本检验。
; y6 `$ F! A* W2 H7 w/ @三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
: H( V1 X) ?) v% _; I. q! ~) f
一个数据集比较两个算法的检验
4 J. D' m2 L8 v8 ~: n
交叉t检验
' |. c3 U( }" C$ k
( ?! t6 Y& A4 h% ]  x+ P3 l- N交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。

$ k& L2 b. u/ s7 L0 d

McNemar检验
* @4 ^. p+ H3 }. @# u$ U: K
0 r! f2 y5 S/ O3 U3 L" x; @3 t( M卡方分布的解释。
' s: M" T. ?) W1 v/ @  ^McNema检验是一种列联表的同质性检验。
- v1 e7 B/ f$ o3 A! n+ @; m/ H


一个数据集比较多个算法的检验

两种思路：
" l; r0 x( \+ ]7 G4 E# j4 }
9 _! U; J% j, z) U# [算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验

6 r* m6 Y. S5 s/ ]3 ]先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。


( F5 S9 ?3 I( D: p+ V
" W* |$ Q& V3 i% ]/ O$ uFriedman检验图

. n7 J8 F0 }* t$ L- `: h. iF检验常用临界值
8 c; [  B% B: u0 {! p) }4 e: V
) {4 {" }( y* Y: [( g& ~9 ^Nemenyi检验常用值
' l% m. v# Z% @# @
) i4 [0 h& W$ t- `6 L  S
/ @6 H2 \! Y. ?( {5 p% X9 g————————————————
1 P. G7 V8 p8 R' Y+ c' n) t6 @版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
/ k/ I. V. m" A  a) J; S- v7 p原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
- K$ _6 S; e& w5 E( l7 |* l
. L3 u/ |8 k/ A* O  f4 k+ g7 a" }# _. ]