数学建模社区-数学中国
标题:
使用统计假设检验验证
[打印本页]
作者:
杨利霞
时间:
2020-5-4 15:18
标题:
使用统计假设检验验证
使用统计假设检验验证
- I5 ^9 t' v: s2 c
文章目录
) q4 j8 C$ X8 |+ T8 I* r
4 y( W/ \/ s' e8 U+ A1 f
常规检验
" M R5 ]! |! D- s3 C: W% L. Y- L
二项检验
# V3 I: ~& ~; b2 l% K' f
t检验
0 C; w- Z5 h R1 G* @9 I) ]
一个数据集比较两个算法的检验
: @4 `# f" {6 ~2 g) \
交叉t检验
0 u: d- k6 l! z- T" D+ r
McNemar检验
+ d: \9 v* K. H& B) O
一个数据集比较多个算法的检验
0 `9 a% m0 D" J# _' y
Friedman检验
$ B/ ?; Y9 z2 V' H1 `% L$ t1 M
Friedman检验图
- J$ k, Z4 R, @& g9 X" }& z
F检验常用临界值
6 Z6 y" E0 } U( @" E M' M" v
Nemenyi检验常用值
$ z# e3 V0 k4 Y, B. M+ M
闲得慌
! {7 Q' O3 u4 B9 a! J' J$ @; _
统计学是以小样本来估计总体。
* e' \) x- u l& |- O
' Y( w! \$ }( O, S4 Q# X9 w4 s7 o4 K. b/ \
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
$ W6 W" @5 u/ y3 \
) g: {+ G5 G! B
常规检验
, ~* h) c9 m& k8 q% j' D |) o
. G5 v8 n# x. j2 |7 E
二项检验
c Y2 w7 P0 S6 m5 o5 m% I
% P1 `* l4 f* P! |7 O9 M: O* s4 S
假设检验步骤及二项分布的介绍
8 s8 c; W8 M5 B- Z' k, N1 E
2020-5-4 15:13 上传
下载附件
(190.7 KB)
& e+ w& }" w5 {9 [
' m, \" C, o/ H y3 a
: a" ~. C7 U* o# n: s* i
t检验
) M8 d% n5 I( N+ B' R2 C; m0 c1 G/ E8 x/ e
3 v' F& s# o% I/ j/ W) D" E. O
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
# L0 Y V# A2 r. B, g
t检验可分为单总体检验和双总体检验，以及配对样本检验。
+ S7 Y+ s3 o6 m, Z, l1 _
三种T检验的详细区分。
% l, q( C- w( \. F+ ~
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
6 d; c- P8 }# @/ e: }! U$ o
0 s, t6 s9 K/ m
一个数据集比较两个算法的检验
, o% L2 T( B! t3 Q
! p. D. w3 l; F( l3 @$ b
交叉t检验
2 q# {% a6 C; f$ \# u
% l& ] v1 h+ a; o2 T1 T0 g
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
7 ]7 |# s6 o- k4 ?* D
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
/ e: x1 y4 M5 D9 I! y2 U
假设：学习器性能相同。
5 V4 `( x* H8 H1 e |% E2 a% z
2020-5-4 15:14 上传
下载附件
(205.31 KB)
6 K- W' h( O0 i, l) j5 f
1 k+ s) O3 \* S0 ~
$ E! n* }8 @' h2 _
McNemar检验
4 k9 w+ ]" e+ T% \- n4 A; X
) i3 S* @3 f* U1 _: N: c
卡方分布的解释。
5 u; V4 s+ w: _2 I
McNema检验是一种列联表的同质性检验。
6 L' ^5 D: C" a; m
7 K d$ s$ o r# w i
2020-5-4 15:15 上传
下载附件
(151.21 KB)
" u w7 E/ H3 q7 Z6 ~
1 b& C5 L" R% Y
一个数据集比较多个算法的检验
$ a3 ]. Z8 ]! l F) q5 N* L8 b, ~
7 Y$ q0 `2 z. m+ ^
两种思路：
# X6 v# |0 h F- h/ o% U; t
0 }4 c5 z3 \3 v6 M. p2 O
算法使用上述方法进行两两比较，直至产生结果。
# v- `4 {% E: a. n
对算法结果进行排序，如Friedman检验。
4 m# Y7 x& P" {! s# |
Friedman检验
3 p- ^/ h* ~: q) n' b
5 H( S# p+ g1 _" u# o/ `
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
5 _* c6 d4 V4 ]' x! G1 @
" N# [$ h4 F7 Z) |2 \
2020-5-4 15:16 上传
下载附件
(167.99 KB)
+ p+ M! c" ~2 R$ T5 F
- g7 u1 q3 ~: h/ X0 q
Friedman检验图
2020-5-4 15:16 上传
下载附件
(238.14 KB)
0 z/ ]2 ], z! T: a+ ?0 M6 P
r u: G5 {3 E* \! Z0 R' r
F检验常用临界值
0 s4 r; g, Y# r, d
2020-5-4 15:17 上传
下载附件
(291.72 KB)
) [0 R2 I( Y* t8 A, h; V
Nemenyi检验常用值
2020-5-4 15:18 上传
下载附件
(78.45 KB)
0 s" D8 i$ T n
; C0 J, m; N3 Q @3 W
, k* i' \& M& ]6 n( b& |5 D a
————————————————
% D4 L4 x9 k. J& y4 I3 Q
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
2 g8 U" f2 k+ Q; T4 L j/ Y
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
; V, T1 J9 u5 t# L& h
/ ~( K1 B/ o# {4 H2 |1 U& l- |
( g2 r5 s% O- S1 l
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5
