QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 5557|回复: 0
打印 上一主题 下一主题

使用统计假设检验验证

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-5-4 15:18 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    使用统计假设检验验证
    3 n3 `3 p* z% v: |, t  H文章目录, U/ v7 }7 N: f6 P

    " n* {; {. B( ~常规检验$ ^' j% [) E& r& b6 I  i" i
    二项检验
    ' Q' N$ J/ y0 o* Et检验
    " o& G1 }4 P7 f+ }一个数据集比较两个算法的检验
    ; N, s4 V! I( C4 _0 S" K9 v) @交叉t检验0 N$ Y! U2 Q7 S
    McNemar检验# F- t8 t  y# \4 R2 T
    一个数据集比较多个算法的检验  Y, X/ X( C& m; g
    Friedman检验/ B0 B+ N+ ?, }. {) _
    Friedman检验图0 t7 m/ I& w/ y8 c+ \! k& M
    F检验常用临界值
    7 ?8 b) V; T/ D, BNemenyi检验常用值
    8 M, T: }5 Z, x# Z闲得慌8 ~6 @4 E0 c! y6 D
    统计学是以小样本来估计总体。
    , m* E6 n, `  |% S6 o+ N  m7 @0 h" ~% C; z$ N
    在机器学习中,我们若想知道模型的泛化误差,就看可以以测试集作为小样本,以测试集在模型上的泛化误差,推断模型的泛化误差。
    ; b2 J( K0 X* o/ W3 {2 _& q
    5 c8 R6 x; M9 d& S# w常规检验
    9 M9 t' u& H* C
    2 a# S0 H1 ~0 o: Y: ]% [( h二项检验! ~, U% u6 n" ?
    * Y1 U; k0 q6 F/ l6 v2 k" G9 ]
    假设检验步骤及二项分布的介绍
    7 l* v0 E. ^* |  M 1.jpg ! U; O- D: ]4 \# z) E* P

    6 l/ r% e1 Y' u9 Y# l1 f) ^. t) M/ l: x" h0 I
    t检验( ?$ R* S) U  S
    5 `# I9 Q7 U0 w: f* ^& a5 f/ f
    多次留出法或交叉验证法产生多个结果时的检验:使用t检验对多次结果的均值方差进行检验。
    5 W1 i# y9 y2 n1 g  Wt检验可分为单总体检验和双总体检验,以及配对样本检验。
    9 H' p7 @8 z( ?+ c三种T检验的详细区分。! V2 S* p# n# E2 u
    t-分布(t-distribution)用于根据小样本来估计呈正态分布且方差未知的总体的均值。% F+ t! d- h# \0 y: H4 E

    4 z8 k! y( B* H0 O4 g# g" q一个数据集比较两个算法的检验
    1 Y* A6 \# v1 i/ ~9 b/ k% x$ g! I/ e5 m" ^  U0 M
    交叉t检验
    + ~6 Q, F9 \! r/ J9 Y% _0 c
    . W# B3 G3 I5 v, Y9 w* Q: [交叉t检验:一个数据集比较两个算法的检验,使用的是成对t检验。
    7 n% S# D9 u7 Y基本思想:若两个学习器的性能相同,则使用相同的训练集和测试集所得的错误率也相同。
    : h; ]" b4 t+ k+ t0 z* w假设:学习器性能相同。! U4 k9 ], T; U' e
    3.jpg
      W  F- g0 S+ A" v; x
    $ c/ `3 E+ R( ]* E) y; c
    # k2 h& T7 ?0 K1 w1 h$ D1 u+ YMcNemar检验. r+ t2 V; O6 ?7 o0 U. ]7 k

    0 ]3 y3 q8 A- d卡方分布的解释。6 a  t, _1 ^# A! \6 d9 z
    McNema检验是一种列联表的同质性检验。0 N1 [; w, f2 J7 O) K! e3 t7 t4 J
    ' W2 p4 z  R* g
    4.jpg
    & b- c1 ?% r, L$ x$ [+ ^& G! {
    一个数据集比较多个算法的检验2 l/ S8 H3 S% c6 W" K
    / M+ Z8 O7 H4 O; P
    两种思路:
    8 s: Q# R$ n& Q% ?  s8 v* j: a2 e1 N5 K- y+ j6 [% h# D
    算法使用上述方法进行两两比较,直至产生结果。) A+ n9 \; p3 C$ d4 I
    对算法结果进行排序,如Friedman检验。
    7 a1 Z9 Q+ I4 y; g% aFriedman检验# n& d3 t9 [7 L( ^# A: N+ a

    0 Y+ j" C  U2 s8 y- D1 [  ~先构建序值表,进行Friedman检验,若假设被拒绝(假设为“所有算法性能相同”),则说明算法性能有差异,进行后续检验(post-hoc test),如Nemenyi检验。
    6 u9 J# F6 f6 p! |: u2 E& N# }$ z  I$ J# E
    5.jpg 6 [, U0 s2 j2 F# t; u% ?8 f

      z, B; C* f4 fFriedman检验图 6.jpg # P7 v; U! `8 M' k* j9 n* I( l
    + Y8 Z. L& Q. B
    F检验常用临界值
    5 w0 v( m1 J& D$ f; C  H6 w9 s9 h 7.jpg 5 ~* P% K3 n9 J, H
    Nemenyi检验常用值 8.jpg 5 }' x) ]7 k  C1 H' t8 l/ q9 z
    7 w7 v. O+ v7 V4 i, b

    + c0 \: _1 E; `3 |# D+ |9 o————————————————
    2 B) S. k7 o2 t3 t$ Z版权声明:本文为CSDN博主「一位不愿透露姓名的群众」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    7 j' H/ i, w/ m  V原文链接:https://blog.csdn.net/qq_35182128/article/details/105886333
    / @' c$ F* }3 a  p& @- ~% ?$ w
    7 `! g3 F" b) Y8 h$ Z5 n7 g
    + I3 e; B" R# A8 G
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-9-2 10:24 , Processed in 0.394992 second(s), 54 queries .

    回顶部