使用统计假设检验验证

杨利霞

使用统计假设检验验证
+ T, p2 a, c! N+ t' z4 b2 t7 ^! Z文章目录
# F6 |" l3 a4 u9 s1 d$ L
常规检验
8 I0 L# a) S, w$ E+ E7 ~3 v& z* [二项检验
t检验
一个数据集比较两个算法的检验
+ b1 V9 h" M) t/ Y$ Z交叉t检验
9 Y+ l* m0 B  b' p$ q5 x8 P/ |McNemar检验
) B- c( c7 p% U一个数据集比较多个算法的检验
" p7 O/ s6 ~. `8 `5 dFriedman检验
Friedman检验图
F检验常用临界值
1 Z! d8 B2 q/ d2 iNemenyi检验常用值
闲得慌
& T/ t4 {+ @9 o" z8 O统计学是以小样本来估计总体。
  H' z( {6 {$ \0 n7 w
2 x+ X$ J" m- G3 G- m7 C在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
; T; _# @7 v) e4 e) ?/ J4 n
常规检验
1 b4 s0 \* t* M% o. C, H. J
二项检验
# @/ S7 y  y+ a0 I1 u$ n) H9 L
$ ?) A1 c) n" n1 q假设检验步骤及二项分布的介绍
: F  S) n1 [7 Q, u/ J! R


t检验

多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
$ {  X8 j: b# a; Q' R8 g3 a三种T检验的详细区分。
t-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
' q/ f7 B$ _2 {1 N2 P
9 Z: {+ N( v) H一个数据集比较两个算法的检验

! X$ N5 D) P  H$ b$ O6 c& z" l% f4 B交叉t检验

交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
* ?( }  w- Q  [基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
$ ?. i8 h8 N7 U- y8 R  r假设：学习器性能相同。

9 W4 e$ K7 ]- L, L! j) k

( u- b  R# P! p( W0 ^" {McNemar检验

卡方分布的解释。
McNema检验是一种列联表的同质性检验。

- w' X" L2 w) L/ Y' i' x4 h6 b

3 n5 a) Z, `& Q! ?; g( B7 W/ G一个数据集比较多个算法的检验
" p  Z4 i/ b6 S3 T5 Z. R+ `, i
两种思路：

算法使用上述方法进行两两比较，直至产生结果。
对算法结果进行排序，如Friedman检验。
Friedman检验

1 {  [) d* k2 O! E先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。
5 ~' o: N7 x. B% Q4 T
1 v" F: B/ |; R- E
: @9 k: R5 G; P4 n* P
Friedman检验图

F检验常用临界值
9 x; J, @% b0 z0 Y
" K& ?: e' R& S- f$ E" zNemenyi检验常用值
' J* W+ C' O2 |5 }4 t% d
. X# Q2 \, w* E' @* u
6 X7 e8 G. Z3 |) V  j' q. N. V————————————————
  D* y8 `0 r$ m/ X; I版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
8 g7 h0 B  N* x; G' A! j# _
$ d0 @9 I, l( G( u8 p! H