数学建模社区-数学中国
标题:
使用统计假设检验验证
[打印本页]
作者:
杨利霞
时间:
2020-5-4 15:18
标题:
使用统计假设检验验证
使用统计假设检验验证
4 k4 C8 h k5 m Q
文章目录
" |+ ^( i6 k' i* I' t
/ V! J" x5 C- z* ~% A5 g4 C: ~
常规检验
3 j8 ~- W# ]& z
二项检验
4 M1 s" ~& X* n$ z" c- g
t检验
9 p, k3 H; f7 A; T
一个数据集比较两个算法的检验
+ {# \: b% o) t0 _* V3 Q0 c
交叉t检验
, O2 B, R/ a. ^; N+ w0 y5 d( A3 v6 _
McNemar检验
% w+ C5 z3 l0 @8 N3 Z* }. v. _( {; y, m8 T
一个数据集比较多个算法的检验
) h% A* b# |/ W& ?9 R( w+ X
Friedman检验
! L4 E5 g0 V4 `# R0 n0 W0 t
Friedman检验图
3 g$ r. T' H+ }7 Q1 ?
F检验常用临界值
+ n8 |' C Z& M5 k R( y+ Y
Nemenyi检验常用值
7 b9 S' m3 L" H* r S# U7 ^
闲得慌
]* j/ N3 _. D: k
统计学是以小样本来估计总体。
* q# x0 s. G0 W/ O" ~
. S& f j5 L, j, N% A
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
6 Q* Q) F* z$ h# Q. i
2 X! Z: u( k6 W% h
常规检验
* g0 T4 S! L. i8 @ |* J
6 S2 e- x N) p. M' A
二项检验
9 n: ^8 b, w# l; g- P+ k
# T% O- m9 n0 C+ f
假设检验步骤及二项分布的介绍
- }" ], f9 I2 k# D
2020-5-4 15:13 上传
下载附件
(190.7 KB)
, E6 u0 k: v% N x
! B$ G, o' z9 B2 V3 P0 ~" k
. t( X% c! L% q" g& t3 L
t检验
8 I7 u9 K: l+ L
% z5 |% N# x9 d; X. u1 W
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
, G" ?/ e( x/ ]6 F$ w/ J+ W
t检验可分为单总体检验和双总体检验，以及配对样本检验。
9 O V. I0 ]' ]9 ~" d3 i3 G
三种T检验的详细区分。
5 X7 [- _( ? Y9 ~0 r
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
8 \9 z1 {' y" `7 P0 G# O" ^
5 R1 s" d& @2 L, W6 g+ ~+ M9 X
一个数据集比较两个算法的检验
+ u5 R% F) x* @0 D" ]
! }: j3 _1 g7 u! @5 |' ]5 R& C
交叉t检验
1 G; y9 O3 y2 t( R
2 ^- x" d8 P" N1 {' c9 q
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
% F& q: g0 K' E/ ~7 H
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
( ]8 p# `9 S( c5 Q
假设：学习器性能相同。
6 `( n3 @) I% x" m/ c* o+ O* t5 k
2020-5-4 15:14 上传
下载附件
(205.31 KB)
$ \' T7 P, g: c
" U9 N& Q( {& ?. H: k# @' d
B* N+ _- Y& @, w0 l4 M9 b+ A
McNemar检验
% G& b+ u! ^, l* `9 e
9 B6 v* \8 s% D1 Z I
卡方分布的解释。
* {( ~" }8 M1 t, a
McNema检验是一种列联表的同质性检验。
' ~9 K; P1 I3 l2 W
3 i* A6 u5 m c" c4 r2 m
2020-5-4 15:15 上传
下载附件
(151.21 KB)
4 A4 {9 ^- P" j: Z0 A; D
9 y& m+ R# r; J* B, I e
一个数据集比较多个算法的检验
: B% V3 K' p$ Y) D* p# E; L; w
+ S/ R4 L7 W4 p4 q7 P2 p' ~
两种思路：
' g. I2 K7 j4 X# |6 H" }
7 P# G5 t' f& G3 m5 F
算法使用上述方法进行两两比较，直至产生结果。
: |6 U4 R0 T* _6 f
对算法结果进行排序，如Friedman检验。
4 K1 ~& Y. m' I5 {& l: n. A6 V
Friedman检验
% c# v6 J/ ^" K0 M+ b
9 `8 ^9 {/ ]7 L
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
3 {- h( _) z# w
: @# l# |* W7 d$ p
2020-5-4 15:16 上传
下载附件
(167.99 KB)
% [- z) u/ l( u+ V- l- ^
. ]& n9 |; p- B* r
Friedman检验图
2020-5-4 15:16 上传
下载附件
(238.14 KB)
5 R* y H/ o. L9 l* Z" W, J
" j/ Q m: f0 c% n: `
F检验常用临界值
2 o! i- t# F ~( s
2020-5-4 15:17 上传
下载附件
(291.72 KB)
7 ~4 |8 u# g z4 @5 R& v
Nemenyi检验常用值
2020-5-4 15:18 上传
下载附件
(78.45 KB)
% q) x R; {/ b3 Y$ U; ]
9 F& r8 P4 }4 F" m% [
9 ~; q) l# ?7 ^
————————————————
; C# R5 w. a4 w( Q" @
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
; }3 l7 F2 y1 B
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
4 J1 b3 A; V$ q+ w9 }
4 `' u" j3 H: n7 N
* g, c2 T- V1 k3 }6 {- }
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5
