使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
5 h! Q. f: m& c& B* G
常规检验
二项检验
1 m- v) {: `8 [1 B2 J% k' ?& t& Lt检验
& f" S/ e+ U9 M一个数据集比较两个算法的检验
交叉t检验
McNemar检验
一个数据集比较多个算法的检验
Friedman检验
7 R4 \: x: G4 g' ^% U3 V# U# f9 p& yFriedman检验图
F检验常用临界值
$ |# p8 }* d/ \3 M2 m- [, f. I& xNemenyi检验常用值
闲得慌
统计学是以小样本来估计总体。

在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

+ o2 C0 a! b2 i常规检验

9 S9 B1 `% b; S- _7 Z5 [二项检验
# y- c. i" Y7 |
假设检验步骤及二项分布的介绍

" m" _. o( @; l9 W7 _1 U
& Z* D+ O2 X& R4 _/ a' ]
+ C1 ]  v$ T0 s* o9 l+ Vt检验

4 h4 s) Q. }, b* @. l7 t多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
6 R1 h, b( Q; i' P; b9 W  y: z三种T检验的详细区分。
9 S: G% V; G; f5 ?- Z; O4 E) ot-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
/ w3 d* Z, }2 N' S
" x9 r/ P3 u$ D" o+ T- ^) `8 _一个数据集比较两个算法的检验

交叉t检验
4 }9 N; y. r1 k! H( p# P- l
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
' W0 B* X% ^1 l基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
0 y$ R+ @4 d! l) D5 K假设：学习器性能相同。
& M7 }- X7 ?" K! c
  {4 O1 Q4 e  R0 A
  q7 n) w% P% @
% L) n+ R. h8 ^) G; f1 YMcNemar检验
% L: j0 H( d( P  N" d3 D, N) u
卡方分布的解释。
: O9 F" p+ ?+ O+ E2 I) a: H. a, x1 R2 d& TMcNema检验是一种列联表的同质性检验。
3 D% I3 t- H) |! m5 k0 P: S

# G. r& N+ [% K/ e( }; p2 o
一个数据集比较多个算法的检验
6 ^# d. s) u6 G- p: J# b
- o; @: l- \% e+ I' o两种思路：

算法使用上述方法进行两两比较，直至产生结果。
8 o7 E( S  K8 F6 \& H# b+ k9 ]对算法结果进行排序，如Friedman检验。
1 @. {( l. g7 H: iFriedman检验
+ }/ U% H! G5 X+ x4 J9 h8 N' Y8 ]
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
  {, I) z! w" \
1 D" r' d* q+ {
' W0 @( X' G7 v: k& z) J
Friedman检验图

F检验常用临界值
# u& a7 N% G, u, `
Nemenyi检验常用值

2 o. }" {7 Y: j8 H+ x5 X
————————————————
6 s3 T5 P8 Q/ f& W8 g版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
% C( z- `1 q$ W( s( u
' q2 z9 L: Y2 J/ e
( z6 q1 e* j1 ?- H: e& q1 s/ `# G* y