使用统计假设检验验证

杨利霞

使用统计假设检验验证
$ \  k2 A" c3 @% w3 [9 e: _6 X文章目录
& Z, j+ N* \8 Z
( N3 Z/ {/ j* |2 q" C  T' Q# ~" d常规检验
5 |6 Y0 A1 j( i! a7 L' p二项检验
t检验
$ |7 g  ?+ {* X# u9 }一个数据集比较两个算法的检验
  [+ e7 E& v1 t* u' B: p1 t6 N交叉t检验
McNemar检验
2 u" \, c4 L1 C( _一个数据集比较多个算法的检验
3 @. f6 ]- B' Z$ z) WFriedman检验
( L" _4 i$ o  [# y0 _) Q& nFriedman检验图
9 @0 O; Q* G) z; @- j  k8 lF检验常用临界值
9 P+ ^1 ^2 m( J* |2 D: r# {Nemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。

" T/ L  f6 L, h2 i  u在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

常规检验
8 E0 f6 q+ u/ S0 |
# g4 f3 l+ j3 d8 P4 t二项检验

6 d* w& b" }: t3 `% Z- r2 L假设检验步骤及二项分布的介绍


. m' P) H) G; {& c6 O* W# ]! `) e4 u
$ X- h+ B& F. D3 k8 st检验
0 ?$ P* h. D0 @
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
% d) h$ a. u3 Qt检验可分为单总体检验和双总体检验，以及配对样本检验。
1 U: u$ V1 G* A. s# _* }三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
" F* |5 F+ I( W0 {
一个数据集比较两个算法的检验

" P: d, e% @+ y0 y交叉t检验
, u6 n+ S$ B4 x; u8 o
- t# g7 X- A. I" ?交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
3 O7 @7 e+ B# Y- l* Z5 u( c: }假设：学习器性能相同。
3 n4 ]; a( @" E: {- s; z


! L. f6 X# {) l! F" D/ ?/ w* oMcNemar检验
1 |( g; u6 C8 {) _1 t4 Z) C
, p( O7 d" t+ T% @5 q卡方分布的解释。
6 Z+ k/ w& U, \( G+ e3 uMcNema检验是一种列联表的同质性检验。


3 p" A1 g- M% [3 B
- t- Z. z1 ~! N* k一个数据集比较多个算法的检验
4 W! g3 V# J, k. F( E0 A
" C8 o" O* n# l2 D# g2 N  e两种思路：
  _1 ]( a+ N7 s+ o0 f
算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
: o3 |! i# ^7 ?2 x0 g! TFriedman检验

( R. e* D' _# G; {$ a' o1 ?8 b先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
( f; y3 ?+ J) n1 [. E2 h
- B$ s, u1 ^6 Y  H

Friedman检验图

F检验常用临界值
2 g3 u- ^& ?( E* P& D7 P2 w, x# U
; N2 K9 s+ ~! ~' K& R9 wNemenyi检验常用值
' B0 V4 w& L: M, ~+ h* R, ~
. H# l; R. Y+ }0 {+ Z6 c
————————————————
6 o. V* }6 C* i# Z5 c. [1 ?版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
& g* q# E4 N& J* j+ j) K; p原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
" s) ]1 B7 j* g/ l

7 M0 B9 R  @0 L& Q! _