数学建模社区-数学中国
标题:
使用统计假设检验验证
[打印本页]
作者:
杨利霞
时间:
2020-5-4 15:18
标题:
使用统计假设检验验证
使用统计假设检验验证
$ u5 ?1 k7 D% G1 i
文章目录
1 c d I. A8 s. L0 z" n
3 Q: R. k; S6 I: Z7 _% t
常规检验
, Q) W6 w: U( @) e. S0 M+ \
二项检验
" F# }2 d! {) E% F
t检验
$ n% G6 q$ [6 G& y; x% ]+ k
一个数据集比较两个算法的检验
+ P, {5 p) x4 H2 g+ _
交叉t检验
/ y# A) G2 r* S" b
McNemar检验
, n6 S$ ]0 Q+ \6 V$ Z
一个数据集比较多个算法的检验
8 k0 W6 R) G9 Q0 l' S
Friedman检验
/ L' W3 E* T; r, M" Q. x$ u W) K% w
Friedman检验图
9 d3 N- ?: n& h4 m
F检验常用临界值
* @! G5 W( A& Q/ O' |1 y
Nemenyi检验常用值
/ L( o9 P' F! [2 _" p
闲得慌
- y. w: A4 D' {- L8 z
统计学是以小样本来估计总体。
+ T1 Z# N4 A! S
A3 Q/ X4 i* D ?3 L
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
+ X% x! g$ u. n( e @; O
0 |5 z- l$ w+ K
常规检验
/ Z9 Y( y+ [* Z
2 Z3 n$ p4 G# [- ^
二项检验
* j0 z# F" v# a! A8 }) F
' O( ]- `1 ]) R8 T6 w
假设检验步骤及二项分布的介绍
5 }: c- m3 r$ l' o
2020-5-4 15:13 上传
下载附件
(190.7 KB)
6 G0 ]2 H/ _: \ Q' p5 p
+ R, g' q+ o) M }8 o" A/ C; _5 r6 y
( }& d8 W( F5 A! T
t检验
6 M1 C$ l" J: o0 ~- h7 C+ `
, d2 v4 c1 _# P& p' X$ q! Y
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
) {0 I4 \% q& j% F6 a. G% _
t检验可分为单总体检验和双总体检验，以及配对样本检验。
7 t5 v6 B' V, O2 H% b; q( o
三种T检验的详细区分。
6 i" A* I. F5 H1 x8 H1 {
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
3 r6 T6 K! w' X0 i& k
7 ~% I( N5 `4 {
一个数据集比较两个算法的检验
9 P& Q: G- x/ x4 x8 D
9 E2 _- R; i' o; \
交叉t检验
# m5 L+ p% r7 w3 j5 E' T% e
+ ^7 Z, z- n- b1 @
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
4 Q! Z* Q' Z' b6 F* W6 Y
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
?3 d' k) q7 Q/ j) o& P
假设：学习器性能相同。
! o1 q; g& B0 K; p
2020-5-4 15:14 上传
下载附件
(205.31 KB)
- e+ r5 w' a: C
, y; f6 @& [8 G
; g+ ]+ B, h' b( w w
McNemar检验
5 g( @9 Y0 ^, l5 F% {$ E: K, [4 u. [$ H* h
( F' U6 j$ o! M$ K
卡方分布的解释。
8 q( ]3 k0 F/ |6 X3 o7 h8 m( B
McNema检验是一种列联表的同质性检验。
- g9 X8 w8 b' P# a, O
1 e0 q; s4 Y, r# Y3 d, g4 m9 b; X
2020-5-4 15:15 上传
下载附件
(151.21 KB)
% ]7 q: o. D5 ^, G; N
8 [ }$ L* ?" M9 v
一个数据集比较多个算法的检验
" K1 }! |' P8 l0 \2 H5 }. N
{. c3 b$ F A0 [; R8 c$ B8 d
两种思路：
8 N) l9 {: b& b
: H- ]5 Y; \( {3 r0 K
算法使用上述方法进行两两比较，直至产生结果。
( b3 ^9 m1 {/ N& Y7 |
对算法结果进行排序，如Friedman检验。
1 q& i# K8 f3 N6 v( O4 G5 K. l
Friedman检验
4 {2 w: E2 p O
: C3 n$ N; G: {; r% u
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
+ R# x0 M% n1 ^7 O9 _
7 I8 D& R1 C& x7 [1 n) W- B; p
2020-5-4 15:16 上传
下载附件
(167.99 KB)
/ t( z* U" a4 }4 z7 z1 k/ p
! A! _! J+ { k) o v- T3 L
Friedman检验图
2020-5-4 15:16 上传
下载附件
(238.14 KB)
$ R% s% ?+ e4 X) @# a) m% A; S
! l6 P' n" V( [/ l
F检验常用临界值
7 _4 T1 |0 \* I5 n# e4 R5 {. F
2020-5-4 15:17 上传
下载附件
(291.72 KB)
, C2 z2 H% u% U. E3 |3 Z1 {0 k
Nemenyi检验常用值
2020-5-4 15:18 上传
下载附件
(78.45 KB)
2 B# ?) a" p$ t6 h' p! r
# q7 q1 _ ?, Q7 S( |: _
) u$ |8 T/ x$ L
————————————————
6 K6 }1 z3 v( X+ d
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
5 q" A9 g+ s5 P! {
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
+ ?( d7 v, }8 I7 t
3 `) t- P, X0 N# g, O' b
5 ~1 I9 X: e& s, x
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5
