使用统计假设检验验证

杨利霞

使用统计假设检验验证
6 S: z+ Y9 a& j$ Q) L; e0 j文章目录
8 ^/ u8 ]6 w( v& f" N
: A; J) D0 ?* `9 H: h3 j# E常规检验
3 T) y$ ^0 O1 c" P" @二项检验
7 W7 S+ @* c4 ?2 J1 ^% K$ d. s9 E$ qt检验
一个数据集比较两个算法的检验
交叉t检验
% x4 G3 `. u/ k, E- I2 SMcNemar检验
, a) W, o9 w% l+ x4 @, a一个数据集比较多个算法的检验
Friedman检验
Friedman检验图
F检验常用临界值
7 p# W0 i# O* B. o2 wNemenyi检验常用值
$ f' {  s* ^- N闲得慌
" K7 h# D9 B# `  B4 T, ^统计学是以小样本来估计总体。
; k- V! J8 i; T" {. @+ ~, F
" l& ~1 n% L9 O在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

+ y: q) O; X4 {常规检验
( L6 B; _9 ^3 @: [7 C' z
二项检验

6 a& ]/ F3 E8 a& [& _# z# m假设检验步骤及二项分布的介绍



t检验
! O" K3 e! f3 L0 t
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
+ ~1 j/ I3 X: e' c三种T检验的详细区分。
' t+ @: N4 U  J4 p1 d$ {t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
( Z4 P# w; F: U/ U  S! W
一个数据集比较两个算法的检验

交叉t检验

交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。


* |0 b" I& d6 V! e+ C/ j
McNemar检验

卡方分布的解释。
- P# l$ [6 z- ?0 Y+ V* JMcNema检验是一种列联表的同质性检验。



- \/ `; `# B0 [3 b! q" j- T3 M* q一个数据集比较多个算法的检验

3 l1 c' z1 b+ ?- s( o两种思路：
/ @! A. V0 X9 U
4 f5 M9 E, W/ H0 B* j算法使用上述方法进行两两比较，直至产生结果。
$ f- K# r% w5 `对算法结果进行排序，如Friedman检验。
* P" ?. b; m3 b  F# T: b& YFriedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

1 h* R% E9 a; ~! }1 \3 c; ~' ~# K
7 I% k  M# j; J
Friedman检验图
+ X; J- h- L: G
% ^; |6 `& k6 b7 d0 g* Z8 KF检验常用临界值

& P; M- Y! [$ w/ x% f- BNemenyi检验常用值
) e8 e9 K4 h: Y4 q" W9 i+ s1 t

) y  O8 l& o3 C3 I/ A————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333


  q( @, A$ e" E; R