使用统计假设检验验证

杨利霞

使用统计假设检验验证
) j" Y; I* @$ V/ o0 R文章目录
* D; e$ z' F; I4 t& w2 }, w
2 u5 N. s4 D4 x/ X* N' Q& W+ Q, ^; r常规检验
二项检验
* r, X$ I6 w' m( r  n; ^t检验
一个数据集比较两个算法的检验
交叉t检验
McNemar检验
一个数据集比较多个算法的检验
Friedman检验
2 B3 v8 F; a7 d& {Friedman检验图
5 m0 p/ W/ q5 B$ x# N% dF检验常用临界值
Nemenyi检验常用值
+ ~0 F7 p0 z( ?2 B! u& V' N闲得慌
统计学是以小样本来估计总体。
3 H$ ~: v7 w3 R+ R
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

% H/ X" S+ ^3 K* x常规检验
+ U4 Z, `% v+ \* f8 [* {5 ^
二项检验
% K5 B" s0 M$ y, p0 D3 y
$ D5 ?& Z5 i" Y7 {4 q* D8 f3 h假设检验步骤及二项分布的介绍
( W; m/ X+ {# A  O

) w+ t) L+ v2 i9 P; Y
7 u+ }6 ]% |+ r4 Yt检验

, j3 E3 S! S) Q  H' h" O  q/ P多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
& ^& Z3 x0 x# `$ `8 Y1 C, Nt检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
# f% s8 m/ T  k8 ~- I3 k- U1 N3 }t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
* z5 Y; G: y8 x# P) T
/ O# ]) y; f) J! y1 ?一个数据集比较两个算法的检验
: T, c2 i+ b7 T4 P" X
交叉t检验
' Q! `( p7 O! W
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
. p# ^! }$ L# b, R$ b( G, H假设：学习器性能相同。
" k' V+ V, F' S! ]5 A
! J9 \- A9 a  V

McNemar检验

卡方分布的解释。
: D3 H. [6 G& M! \- e3 F& QMcNema检验是一种列联表的同质性检验。


6 D3 m; C1 E( w, p8 a+ S$ e
一个数据集比较多个算法的检验

两种思路：

算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
' {# S5 i+ Q  d* K% }+ R8 CFriedman检验
3 g1 K" l  Q- I9 i0 r5 p
, s. i4 [; U1 V, A( m先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
4 J, E: t& U: K1 m" `2 Y1 Y' p
7 g- r1 Q9 V: w# t4 k
- G; R8 D) o3 I5 h9 k( C
# R8 E! ~" U% YFriedman检验图
1 ]  o' B7 D; Q0 a2 D$ X
* x$ p" R! X. K/ v; k# Y# bF检验常用临界值
- y* ~/ a( Q4 T" C
- G3 k$ N" B/ _) [0 B1 A& M* PNemenyi检验常用值


————————————————
$ ?, j" v& d  s& e版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
4 ]! ?$ w5 h& S+ C/ _原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
$ O; `+ ^) `. p6 F& r( p9 f2 C2 C
( W7 N: O+ ?. o. V  G/ t
* ^' w' c$ f! |; {