使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录

6 q2 g6 L2 A; m7 P+ d常规检验
二项检验
$ f+ i( \2 t0 `& [1 D; |6 O" nt检验
一个数据集比较两个算法的检验
交叉t检验
McNemar检验
一个数据集比较多个算法的检验
) `3 m# T( C/ u" @2 FFriedman检验
( J; e' Z6 V8 {: r+ w% x! LFriedman检验图
F检验常用临界值
Nemenyi检验常用值
闲得慌
9 ?$ y" V! X; a' Z5 L5 ?5 a/ Q- h统计学是以小样本来估计总体。
1 L6 L! Q, O5 X1 O; h8 x
在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。
# n& G& Y7 t0 m! c5 Z+ ^; M) k
常规检验

二项检验
8 N# ]3 v7 k8 @. ]& O
假设检验步骤及二项分布的介绍


" a% ]+ K0 c5 O& V3 A2 R% f. L
t检验

5 {- h0 z* \4 ^1 D5 I5 `多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
t检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
+ T- u& @, e0 [! Y$ et-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
* t& J* G: y/ |1 V
一个数据集比较两个算法的检验

  b/ F7 W. Q9 C4 d8 ~交叉t检验

  a* t2 w) y) B. y4 d交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
1 H( @7 B2 D  ~# K& q4 [6 i/ R7 Y基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
假设：学习器性能相同。

' D5 j2 w8 a. G, \+ d9 a+ L+ l

6 @8 N" o9 R# i$ ]9 c; C. QMcNemar检验

. i! L& U3 J/ n+ G% _卡方分布的解释。
- L( w6 f5 Z7 Q0 }. C2 Y" [McNema检验是一种列联表的同质性检验。
1 R1 E$ y" D6 R, {


; W2 h6 b- e& g+ {* \一个数据集比较多个算法的检验

: y8 \( ~% N2 |- v( n两种思路：
* d2 h. s+ k) d
算法使用上述方法进行两两比较，直至产生结果。
9 O* X5 z' ^$ H& ^# |: J对算法结果进行排序，如Friedman检验。
/ x; y7 |# E3 g' W3 z' o3 _Friedman检验
0 T9 @$ ]# w2 ~, f3 _
先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。

/ @6 N9 g! E- m7 T

7 i( w) r3 p7 l8 ?! S+ {% K- ?Friedman检验图

+ r9 Z( j6 X4 x4 YF检验常用临界值

Nemenyi检验常用值


+ d1 t* r0 ^6 T! d————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
: b: _) A# d- z9 J, m原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333
4 y3 D5 R0 |9 Y3 {  M2 t