使用统计假设检验验证

杨利霞

使用统计假设检验验证
文章目录

常规检验
+ p5 \3 j1 J  r0 y% T- l: y二项检验
8 l0 M6 Z/ \, M5 p& Yt检验
  C) T* ]- r# f一个数据集比较两个算法的检验
交叉t检验
McNemar检验
一个数据集比较多个算法的检验
Friedman检验
) N( B  I( e) \8 K: ?Friedman检验图
. X7 {7 [* `& L/ UF检验常用临界值
3 A* w. j3 ?' k* o: m7 bNemenyi检验常用值
# m+ x7 x, P$ _+ S闲得慌
统计学是以小样本来估计总体。

在机器学习中，我们若想知道模型的泛化误差，就看可以以测试集作为小样本，以测试集在模型上的泛化误差，推断模型的泛化误差。

, T7 Z5 e, Z! ?; G- B. W$ @常规检验
3 D5 H4 y  V2 s$ V* k
  j- m& y' a7 h  k9 Z二项检验
0 j  F$ ?# F' K
6 z1 L4 G; V; y8 U6 `3 o& X假设检验步骤及二项分布的介绍



7 i3 o% T- d$ M! J3 Gt检验
* M9 l7 ^0 d* K5 X9 J3 k* T& v
多次留出法或交叉验证法产生多个结果时的检验：使用t检验对多次结果的均值方差进行检验。
/ O9 S4 H9 F! q! Tt检验可分为单总体检验和双总体检验，以及配对样本检验。
三种T检验的详细区分。
* l1 O% [* N% Lt-分布（t-distribution）用于根据小样本来估计呈正态分布且方差未知的总体的均值。
( D! ~) ^. @; J
一个数据集比较两个算法的检验
( @3 X2 C. `9 ^* A, N. |0 D. Q
3 p! @0 |% ?9 s- D4 r交叉t检验
4 m, N5 p6 p& w  D# ^7 [$ X+ q
交叉t检验：一个数据集比较两个算法的检验，使用的是成对t检验。
% Y+ R9 u( @- @: |6 r% Y基本思想：若两个学习器的性能相同，则使用相同的训练集和测试集所得的错误率也相同。
% k& ]  V$ Y- a假设：学习器性能相同。

" y( A) b0 Y7 g6 g& X, j

McNemar检验

卡方分布的解释。
' x2 f1 f5 `, u* c4 vMcNema检验是一种列联表的同质性检验。
- q% d: ~% I; K

/ P" E$ f" ^' N4 X6 I
9 ^% l, I2 u/ S4 `一个数据集比较多个算法的检验

两种思路：

算法使用上述方法进行两两比较，直至产生结果。
3 l4 b5 \' P% o" t3 L: n6 K, E& a对算法结果进行排序，如Friedman检验。
' D- I8 U0 x3 y. B6 m/ JFriedman检验

先构建序值表，进行Friedman检验，若假设被拒绝（假设为“所有算法性能相同”），则说明算法性能有差异，进行后续检验（post-hoc test）,如Nemenyi检验。



. }0 ^( a$ `' P5 M9 V! XFriedman检验图

& y7 H! N5 ^* |8 c7 O* \6 `F检验常用临界值
5 c$ G8 j- W/ _4 E
Nemenyi检验常用值
7 K. q1 y% n9 q3 Y" `# N$ X
. U, S/ Y% V3 d& @
- x0 e. }+ k1 v8 _' r1 N& |————————————————
版权声明：本文为CSDN博主「一位不愿透露姓名的群众」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
/ B; J5 {" O, ?4 i0 m* }原文链接：https://blog.csdn.net/qq_35182128/article/details/105886333