QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 5451|回复: 0
打印 上一主题 下一主题

使用统计假设检验验证

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-5-4 15:18 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    使用统计假设检验验证
    , ^! a0 m) Y1 _- Q文章目录
    9 X) T' [7 K, {9 y1 _8 N: A# \  n9 y
    常规检验5 J4 ~" f" I4 \4 \' [" u- s
    二项检验; o. R& O) j8 L
    t检验
    5 J/ V# e4 D4 K! l- i- i- A' B1 B! j一个数据集比较两个算法的检验' `. w4 J8 ]8 a9 n$ k/ L
    交叉t检验
    0 P# ~, \6 }, VMcNemar检验- L5 }7 `; \8 T9 w; t
    一个数据集比较多个算法的检验* e+ p; B# |/ E
    Friedman检验
    $ m0 F0 J' Z" W+ E# O9 [8 EFriedman检验图
    & g* j: [( C9 G. v$ i) X" WF检验常用临界值
    : c# |/ y3 m  H8 _! P0 iNemenyi检验常用值% n8 P- S/ j+ N8 C2 d2 @9 a* I
    闲得慌1 }6 Q+ F- G- @, D2 k
    统计学是以小样本来估计总体。* N* u+ K& r" b( e8 S
    0 k( G4 P" J* H3 M: u
    在机器学习中,我们若想知道模型的泛化误差,就看可以以测试集作为小样本,以测试集在模型上的泛化误差,推断模型的泛化误差。
    4 T5 h9 w" `* J* w# B; U  m0 c) j: `( t% c( g( ~  n3 r. y
    常规检验; G- ~6 c) ?; D- S

    $ [; O( c: e" I) W二项检验. d/ X1 S) K) b) ?7 Y  c

    9 [2 I1 G' E/ x4 N% ]$ D假设检验步骤及二项分布的介绍
    , l9 H1 V; T% Z- J' R 1.jpg
    6 O' M- T% z' C
    / P- i/ W* |) n, u, n
    2 v3 @) S# g. M% e/ yt检验
    4 j9 E8 d8 [( P; S1 o) C
    0 H3 c: r% h) H5 }  ?多次留出法或交叉验证法产生多个结果时的检验:使用t检验对多次结果的均值方差进行检验。
    2 W+ l* T+ q3 j3 s9 O2 `1 _6 Gt检验可分为单总体检验和双总体检验,以及配对样本检验。* r9 H3 y( f: S$ [
    三种T检验的详细区分。
    6 @3 g2 f4 c7 M  St-分布(t-distribution)用于根据小样本来估计呈正态分布且方差未知的总体的均值。/ Q) e" m' b. Q

    9 V6 k9 ?, b1 G9 ^: Q: t& f一个数据集比较两个算法的检验" Z4 N& H, e7 _- K  K7 }6 q* Y, d, |: M
    2 t$ I3 P4 s& N$ z( V6 x
    交叉t检验( ?/ Y% A3 |5 A0 X; {

    " z* X4 U9 M$ k' R; e交叉t检验:一个数据集比较两个算法的检验,使用的是成对t检验。/ J9 B: ^- m# ]+ j
    基本思想:若两个学习器的性能相同,则使用相同的训练集和测试集所得的错误率也相同。
      I; a0 d( i+ h假设:学习器性能相同。
    4 r& }+ \9 P. c# x 3.jpg * y7 f% e5 J( F7 l, u
    . w( ?0 x6 i" R- c7 i$ |, p( l/ T. \
      m2 P. f5 S2 k$ S0 D
    McNemar检验
    / T1 N: G( y9 |/ y8 j
    ! }8 G, a- c) z5 ]% M; g卡方分布的解释。: @- i( x1 ~' K" D; U; U
    McNema检验是一种列联表的同质性检验。
    & W$ @* q1 [" a* U9 W: v
    9 O5 i6 R2 F! P( `: ~, ]0 v 4.jpg
    5 R0 @) x& L" w) w, ]
    & }( F6 s& z( c6 I一个数据集比较多个算法的检验
    1 X1 Z; p( Z+ B8 N
    5 ^# |( s& U5 Q6 v2 e两种思路:
    + d/ v/ g5 N1 U0 R" u. P3 N6 [. ^" P* S9 U/ x
    算法使用上述方法进行两两比较,直至产生结果。
    3 S( K8 r, x. S: b8 Q8 B对算法结果进行排序,如Friedman检验。; v% U& H/ C" g1 H7 T( `' l# [" B
    Friedman检验; C0 _8 ~  Q! q# Q0 S$ E, I
    7 b2 }1 |" D  v9 d. C4 l) W
    先构建序值表,进行Friedman检验,若假设被拒绝(假设为“所有算法性能相同”),则说明算法性能有差异,进行后续检验(post-hoc test),如Nemenyi检验。
    - V9 T4 i& Q3 t% N. K  B7 O! I9 w* A% c, a, [
    5.jpg
    , e/ t2 R& o- v' J0 g
    2 `5 `, w/ s: }% ]1 s6 eFriedman检验图 6.jpg
    3 d; J8 v( T- v) M* q- M
    % o9 N3 N' T: {1 m4 gF检验常用临界值
    : ~" ?; l3 L- Y! U/ [% x 7.jpg
    - }; n* }! k4 V2 B" W0 k. B0 CNemenyi检验常用值 8.jpg
    4 ^6 j6 t$ N9 G# ]: H5 f" F0 k  }4 r
    ) |9 |( M  D6 X* i
    ————————————————
    , C& F- S1 O# v8 S. s版权声明:本文为CSDN博主「一位不愿透露姓名的群众」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    6 _# V% J, G6 E0 g  a原文链接:https://blog.csdn.net/qq_35182128/article/details/105886333, _2 y/ L! P/ S6 D+ c. r

    2 ]5 v# f, r$ d$ x  [7 R+ @+ u) _% a( ]" d! @
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-4-18 08:39 , Processed in 0.592907 second(s), 54 queries .

    回顶部