QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 4488|回复: 0
打印 上一主题 下一主题

使用统计假设检验验证

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-5-4 15:18 |只看该作者 |正序浏览
    |招呼Ta 关注Ta
    使用统计假设检验验证
    ) T) F" n5 }) s文章目录
    * O% m# F3 M! E. _8 t, t, v9 `. C6 h
    常规检验( l( B+ k, k- O% v, I
    二项检验2 @' P9 k' Y0 ~5 m( q+ w" f
    t检验
    ( h: H$ ?4 O+ a( s一个数据集比较两个算法的检验
      U, ^. i; q( s  b0 T* A3 `交叉t检验
      Z$ v& K* W3 E8 s5 QMcNemar检验
    % p- j# x6 H( @: e# G一个数据集比较多个算法的检验" f: s$ e! r" u8 V) k
    Friedman检验+ ]) q/ i* U' c' \$ v5 B
    Friedman检验图
    5 k$ q' ~; u% b+ D/ CF检验常用临界值( V: A  u& Z* G; N) k
    Nemenyi检验常用值0 Y1 w7 {/ A& V1 q) |
    闲得慌
    & y; F1 Q; t) Y8 J7 R$ \6 T1 W统计学是以小样本来估计总体。
    . O; ~4 Z$ W1 m+ p" [
    , u3 Q7 Z! n/ \1 K. \# |+ s在机器学习中,我们若想知道模型的泛化误差,就看可以以测试集作为小样本,以测试集在模型上的泛化误差,推断模型的泛化误差。7 ?  l; h" H1 G( u, D6 G" S' s

    " C5 L" e# Y) `/ Y. }# p8 N5 B常规检验
    / u! `. |7 C, B1 I/ p% n8 o& d2 c
    二项检验
    , j, T1 B  _/ K( D0 H
    4 U- x6 a- B0 C, }: X% J* ?$ i假设检验步骤及二项分布的介绍
    ' I% Q0 U0 i# R9 Q 1.jpg 0 J0 u5 f# |8 S% k

    3 v% D  M0 O/ H$ e$ W( c1 t4 ?$ l) f4 {6 ?/ a+ b  N
    t检验" D! X- c* ^. |2 p& N9 E
    ! \0 v  u/ x& y( u# f' W9 f/ d
    多次留出法或交叉验证法产生多个结果时的检验:使用t检验对多次结果的均值方差进行检验。' K# {7 u7 X1 n% ~  q' o6 k
    t检验可分为单总体检验和双总体检验,以及配对样本检验。
    0 I  P# ^' \+ v$ X# d/ r三种T检验的详细区分。
    - M% [, v: b9 c: D3 `) Pt-分布(t-distribution)用于根据小样本来估计呈正态分布且方差未知的总体的均值。
    ; V7 i' e% r% l& X% {
    $ |( u. Q: @7 Y& F4 G% e一个数据集比较两个算法的检验
    $ I4 Z, e- w% s9 O+ M  |  E
    " R/ c, l3 x+ D- f4 ]5 @% u" c: b交叉t检验
    # y- h- u, y% B; Y  _
    + E( C3 Q& x+ g' G交叉t检验:一个数据集比较两个算法的检验,使用的是成对t检验。; {( g; F  F2 _0 x$ x2 u
    基本思想:若两个学习器的性能相同,则使用相同的训练集和测试集所得的错误率也相同。! I, _3 B- P# `
    假设:学习器性能相同。/ t: A2 N3 ^1 W  T/ g
    3.jpg
    4 J4 P: G2 T3 C' t* D0 M" s: z; G+ u  B
    0 n; R6 \. G& k- l4 U& \0 A; p
    McNemar检验
    * V9 Y% D( o) `+ O/ A4 N, b. D: z
      Z9 S9 Z' z3 G) U6 U7 `卡方分布的解释。: V0 j- s3 ]+ M  y
    McNema检验是一种列联表的同质性检验。
    $ z7 Q' }7 t3 Y: H5 ~' ]4 l
    1 z% W; H+ @" O 4.jpg 8 m2 g& m% h1 V
    3 Z( |2 z$ A2 v0 i% e9 n
    一个数据集比较多个算法的检验
    ; }& Q0 c4 ^, v( \! D
    ' _& _2 d; S; t: e7 T两种思路:
    2 }, J; E: e% k* C$ w3 K. {9 {/ S
    8 |3 G$ n) h) b% I  [9 u+ B算法使用上述方法进行两两比较,直至产生结果。
    7 N! u! {/ O- g对算法结果进行排序,如Friedman检验。
    4 v8 W" P# C* r. a1 W" AFriedman检验
    0 N1 X  U: `& y6 A9 [8 ?; m* E
    . h! s/ f/ [1 Y) W# \5 L先构建序值表,进行Friedman检验,若假设被拒绝(假设为“所有算法性能相同”),则说明算法性能有差异,进行后续检验(post-hoc test),如Nemenyi检验。
    ; H' H# P8 d2 J% Q4 Y
    7 x0 X4 e- G& n: X  E, g 5.jpg
    ( w+ P1 n9 U* _5 W: X" D8 H6 ^+ k& R7 ?2 ?$ P' L' L
    Friedman检验图 6.jpg 9 Z. e" Q# b* O+ k; v7 A
    8 R: }4 `/ F9 c8 I1 e
    F检验常用临界值$ t; c- O9 q' l/ ?& I
    7.jpg
    3 K9 B: b/ X, L! G( S# j) A, ~8 F) _Nemenyi检验常用值 8.jpg
    . @. e* V! L" t9 b' G' G& R0 i: V! D/ C/ G; k6 h$ t- j
    4 Y8 d3 y. \$ P
    ————————————————
    % U- ~7 g* Z+ l, z( T. {3 z' x版权声明:本文为CSDN博主「一位不愿透露姓名的群众」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    ' j0 A  Y* j" v, M0 g原文链接:https://blog.csdn.net/qq_35182128/article/details/1058863338 e6 ^2 J5 b. m5 W

    2 C6 W# F5 }6 `! S8 \+ u% ^7 d
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2025-7-10 09:52 , Processed in 0.466112 second(s), 54 queries .

    回顶部