使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录
( t) C7 g' s' X4 k% N$ P
* p4 u% o# ^7 A; W7 f& N6 N" l4 A常规检验
二项检验
0 p5 s  \0 k# H! Z6 ]9 M3 E! F$ @t检验
一个数据集比较两个算法的检验
交叉t检验
McNemar检验
一个数据集比较多个算法的检验
# m9 u. i. ?! MFriedman检验
Friedman检验图
F检验常用临界值
2 w8 y0 |4 ]: E. S' e" W; S8 h, ~Nemenyi检验常用值
7 S  {4 ^8 z: o7 {/ e+ q6 W闲得慌
统计学是以小样本来估计总体。
, N; |% D  G. G. u, I' u. U
5 N+ P8 i( v+ D3 P. v. T/ q在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
2 v1 w$ S/ Z6 t, e. {
常规检验

二项检验

假设检验步骤及二项分布的介绍
/ G: B5 v* J& s% w9 F/ I" a

1 c# P' O, k! [3 D8 S8 f
t检验
* M) ?1 D, P- v, H8 y
' C' s4 a6 _* T% X- `0 A多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
6 \( }6 G4 r( @4 }9 K) b9 o三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
7 R6 B1 J, z0 e- @: U. y
7 n, G: O: M) |" n+ n+ I# ]1 r一个数据集比较两个算法的检验
6 r/ ]; q& C6 D$ Q9 G' i8 Z$ ?
7 j4 n2 Q, d5 n( K' V, Z3 M3 z  U& T交叉t检验
. `$ X$ P3 p& ~" R6 o' `
* J4 m' v- f1 }- u$ y交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
( c/ K) R5 U6 ]# ~$ i& l1 {7 e假设：学习器性能相同。
; k1 A1 Y, K1 W& y; B( q% y$ B
+ P4 ]: f& h8 }0 |4 N
/ t0 r# @" n! b5 `1 ]/ h( y
: z! F. s6 r7 Z. I5 xMcNemar检验
% w0 t0 y1 M9 m" |+ X
7 ~& S% d- K' Z$ A! ^卡方分布的解释。
McNema检验是一种列联表的同质性检验。
! n( K; G( j1 Z6 A0 r

" p7 U; ^  v9 U
一个数据集比较多个算法的检验
9 D( ]- \3 u2 Z* Z$ C- P9 h+ _
两种思路：

算法使用上述方法进行两两比较，直至产生结果。
0 o5 m, h" O4 T对算法结果进行排序，如Friedman检验。
Friedman检验
6 q( P. i' g' b: I; h! }
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
" a9 o+ P3 g! C0 [
  a1 j" o5 c) u! [+ o% P2 L

# {; E% q0 }- w* M7 R3 wFriedman检验图
) Q/ W+ r3 E9 l- d" N6 u
: o2 [) u) W( D: `9 NF检验常用临界值
: }$ q4 n$ J- V1 d2 H, B
Nemenyi检验常用值

0 h0 q8 a1 T' F5 }( F- e$ d
# n# B9 O/ z1 e1 [' ?7 i* W' E+ c9 L————————————————
( R* Y! L' v, ]! S9 c% j1 U* [0 c4 E! ~版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
2 `% W. c4 W3 q/ l1 `* H4 b原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
- m, y" y, ~: B& n4 J9 V
' Y9 s. U0 l  y& W* r4 q) G