QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 2714|回复: 1
打印 上一主题 下一主题

详细讲解分类模型评估

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-4-19 11:53 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    " @9 H% p2 W' p$ K5 G3 C
    详细讲解分类模型评估分类模型评估
    7 b/ r+ N/ c: L7 o" L, T# ?6 \  g/ {- D6 v
    1、分类模型
      ]3 T# P8 m, M# c0 a" Z% {主题:如何对分类模型进行评估
    7 C4 w( @9 n. [( R- |. z目标:6 J& y. \9 \! V& m
    2、混淆矩阵
    4 H) k# Z0 ^: y3、评估指标7 S. f' J/ r7 r9 L3 Q: a
    3.1 正确率
    # g# l; C" |1 i3.2 精准率+ p. d$ H! ?. F
    3.3 召回率
    2 U& Z9 M- k. }4 m+ o2 |2 `3.4 调和平均值F1) W& t8 D. N% O, b9 }" v
    4、ROC和AUC9 y+ T# R' P5 u+ @3 }% e5 c
    4.1 ROC曲线
    % q) L6 x4 G% r5 T- Z5 G5 D如何画ROC曲线:
    9 c6 e0 A9 [6 g; c& I. C4.2 AUC
    : h; l7 W0 V+ x) l$ c9 e1 n1 v1 W4.3 ROC曲线程序示例( ~% {" B. c9 ^' V5 q: d- ^7 H
    4.3.1 roc_curve函数的参数
    9 T' N% V0 f2 C6 ^& B4.3.2 roc_curve函数的返回值
    * @9 v+ k$ _; N& U5 ?( F8 z% H4.3.3 绘制ROC曲线
    ! l0 B, I; q4 ?4 n* K! z5、总结
    . B3 y& t& G5 s9 P3 V1、分类模型
    ( B3 q( y( l( h: P$ |( W- U* l6 k
    分类问题在我们日常生活中处处可见,比如我们对帅哥的分类,可能对帅哥分为非常帅和一般帅。比如我们平时刷淘宝,淘宝根据我们平时的喜好给我们推送产品,那我们就会把产品分为感兴趣和不感兴趣两类。
    : N  a6 \8 k8 V+ @上述所说的问题就是典型的分类问题,确切的说其实就是二分类问题。
    + H) G* O1 U0 k8 ]能够解决这些二分类问题的数学模型就被称为二分类模型。1 ^7 a8 W" Z& Q" Z6 }
    用数学的方式表达就是,给定自变量X,代入到我们的分类模型F,会输出因变量y,y的取值为0或1,其中0代表负样本(一般帅的帅哥、不感兴趣的推送),1代表正样本(非常帅气的帅哥、感兴趣的推送)。: t  t. V7 n; v: i" [
    $ i7 J# t; w: V9 f0 U) N
    主题:如何对分类模型进行评估
    3 t! M% x; h! Z. H+ \* n  t8 {
    - G1 e1 y# Y0 a& R3 `4 E目标:
    , z9 @7 n/ U' Q  {  P
    9 {; n- N5 q% G: i能够熟知混淆矩阵的含义。
    1 [+ x/ y7 ?6 ~( u1 T能够使用各种指标对分类模型进行评估。
    4 C, j9 ]$ W) r0 E能够独立绘制ROC曲线,并熟悉该曲线细节。* q* ~! W* ^  ~+ Z& n
    能够对样本不均衡进行处理(扩展内容)。9 C6 T. v8 `% ?$ q$ D3 ^! G) b
    2、混淆矩阵
    1 w, R: r  m) x- U: k/ J
    + e% C5 N( g; i, H混淆矩阵,可以用来评估模型分类的正确性。! Z. k; }/ R% o0 g" r  V
    该矩阵是一个方阵,矩阵的数值用来表示分类器预测的结果,包括真正例(True Positive),假正例(False Positive),真负例(True Negative),假负例(False Negative)。2 t& E* R6 A1 n( d* P$ n
    1.png
    / O; C7 U( l; \/ M, i  a矩阵的形状是2 x 2,其中, - 矩阵的左上角表示,预测值为1,实际值为1(True Positive,简称TP); - 右上角表示预测值为1,实际值为0(False Positive,简称FP); - 左下角表示预测值为0,实际值为1(False Negative,简称FN); - 右下角表示预测值为0,实际值为0(True Negative,简称TN);: V! E) z0 d3 |1 ^. t  U. D6 j. A

    " U1 @( K4 H% B/ |5 w真负例(TN)+ 假正例(FP)——每个类别真实存在的负例的数量' ]9 H1 j9 r5 v$ C" ~
    假负例(FN)+ 真正例(TP)——每个类别真实存在的正例的数量
    7 w1 y# x& I! z$ B- k真负例(TN)+ 假负例(FN)——每个类别预测的真负例数量
    0 z: v% ^, O; I+ Z假正例(FP)+ 真正例(TP)——每个类别预测的真正例数量
    6 t) B# t3 ]; g; q  ?* k- `, k# y其中:
    9 `' ?8 {& B0 @4 A' z
    " m, I9 X% B/ _0 y9 j1 L" L8 mTP:真正例,实际为正预测为正;; q1 S7 x6 m+ m( b
    FP:假正例,实际为负但预测为正;6 F% ~4 O3 b, [# N" l
    FN:假反例,实际为正但预测为负;
    . R! y/ O/ W# F+ E! E4 |  XTN:真反例,实际为负预测为负
    , H" @* [3 V3 y4 x接下来,我们通过数据来看下鸢尾花的混淆矩阵:
    # s6 F% E& H4 D- U% ximport numpy as np
    2 `; Z; ~* l! f8 M. Hfrom sklearn.datasets import load_iris8 s$ y7 y/ L3 f* G  G$ p/ p- m
    from sklearn.linear_model import LogisticRegression
    ) E0 y2 @$ e6 ~  q9 S8 ~from sklearn.model_selection import train_test_split
    - n5 W, A1 P4 g" F/ s+ b6 r# 混淆矩阵
    4 o/ h+ x7 z' D7 E  L- T3 T; [from sklearn.metrics import confusion_matrix
    0 m: c, I- c( v- ~; Kimport matplotlib.pyplot as plt; Y: K+ K  i" {; o
    import warnings7 ~6 V8 ~& j6 C9 B7 w8 ~
      E" i' z$ L) W9 Y- C
    plt.rcParams["font.family"] = "SimHei"
    . i! \; D2 f* P+ I3 g) |- n/ uplt.rcParams["axes.unicode_minus"] = False7 |2 q, V% k* m) F2 C! }
    plt.rcParams["font.size"] = 12
    ) j4 O7 p& W4 I! N  T4 owarnings.filterwarnings("ignore")
    ' N5 }6 g2 a, t! S9 j
    - [0 R0 b+ g+ i1 i4 eiris = load_iris()  #导入鸢尾花数据集9 e% I/ |) c, _) [
    X, y = iris.data, iris.target
    & p* t# n2 t2 ]' f3 ?X = X[y != 0, 2:]
    8 R1 V. N& l+ u1 W& f3 dy = y[y != 0]1 V- t5 Y. w+ ~7 p5 @& {% i6 l; Y
    y[y == 1] = 0' ~9 L7 O, R/ k/ m- n5 O" b4 `
    y[y == 2] = 1
    1 T# [2 a3 ]. ^& [7 l$ aX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=2)
    / C) x4 V0 R. ^lr = LogisticRegression()  #使用逻辑回归
    2 \1 d9 b" e3 h+ b4 X/ Ulr.fit(X_train, y_train)
    6 v% R: {7 d( `2 V+ yy_hat = lr.predict(X_test)' u3 L/ |- s- f1 n) H+ ^, J+ e
    # 根据传入的真实值与预测值,创建混淆矩阵。
    7 z8 ^8 m) E" r! W- J/ Vmatrix = confusion_matrix(y_true=y_test, y_pred=y_hat)& o, A# l. J9 Z% }0 ?
    print(matrix); b- A. z8 i2 y% I  b+ \) T' J

    # b: h7 I/ k: w7 ]( g
    , V5 `( c# m; H2 H输出结果:0 w' M7 L0 }* P. r
    2.png
    ; V$ ?7 S) a2 d2 v我们还可以对其进行可视化操作:
    2 a8 ?: a0 L1 I" Y+ Pmat = plt.matshow(matrix, cmap=plt.cm.Blues, alpha=0.5)    #cmap 指定颜色图色系,alpha透明度
    8 k, ^& \) g# J3 K5 g  ^0 ~label = ["负例", "正例"]
    0 w- Z# t: O. Q, v$ U* ^ax = plt.gca()1 i0 S: c$ |) Y3 i' p
    ax.set(xticks=np.arange(matrix.shape[1]), yticks=np.arange(matrix.shape[0]),, P8 Y9 t& x3 t9 |1 g4 z+ g
            xticklabels=label, yticklabels=label, title="混淆矩阵可视化\n",7 S/ }8 Y% D4 D4 x2 X5 N
            ylabel="真实值", xlabel="预测值")
    : l' T9 e- `2 ?9 h* l0 Gfor i in range(matrix.shape[0]):* q/ L/ U: F$ k+ o+ Z% E
        for j in range(matrix.shape[1]):* t. \8 T- U5 D) l: s/ Q
            plt.text(x=j, y=i, s=matrix[i, j], va="center", ha="center")
    ; `' @" K+ F: H9 E" b  fa, b = ax.get_ylim()5 r! P3 p0 f1 S4 H4 L) T
    ax.set_ylim(a + 0.5, b - 0.5)
    . q% y% c+ f0 H+ Lplt.show()& X# C2 n( _4 F( Z
    4 n5 V% y' r) w0 ^; C- _- D, F6 r2 h

    0 k# K4 |; Z: v/ M代码解析:
    # W2 z1 l8 {1 v8 hmatshow( ) 绘制矩阵,alpha 透明度+ k4 U& v7 `5 |8 \4 C$ A' I  L
    结果:, {1 @. k) x& y. f) o( `4 e6 K
    3.png
    , A$ Z# N, l+ `$ f练习:- T2 A- W" Y6 r6 b0 {
    2 \4 A; o9 Q. y7 o, K
    关于混淆矩阵,说法正确的是( ABCD)。【不定项】
    7 M  v, G% o/ }1 L$ r4 yA 混淆矩阵可以用来评估分类模型。4 U4 G  t/ J) F8 n" w5 F% |
    B 混淆矩阵中,TP与TN的数值越大,则分类的效果越好。. ^3 ^3 g! ^# E, x
    C 混淆矩阵一行元素的和代表某个类别的实际数量。
    # R" [) ]* }4 H1 V4 P) |$ HD 混淆矩阵一列元素的和代表某个类别的预测数量。2 Y7 ~1 K8 ~! ]1 i5 [* t* Y0 e
    3、评估指标* E5 _/ s3 j: T3 P) c

    3 N1 _* p# V- f1 V3 M! W. T对于分类模型,我们可以提取如下的评估指标:
    4 d- }9 q. I! Z! z4 d1 M9 \0 z- m6 Q
    正确率(accuracy)
    + c0 v9 m3 w7 \) d- n4 K( V精准率(precision)
    / p9 v9 o  C- e: d, r/ y, {召回率(recall): |% I! k1 }; I/ W
    F1(调和平均值)& ^: x) `+ N3 Z+ D; b# U3 ?! m* B
    3.1 正确率$ O: L9 ?3 Y5 U" U* u
    4.png / x" U; ~! ^' V0 E' P
    正确率(准确率)定义如下:( j8 W8 }+ k8 ?0 L2 D  z- \  F
    衡量所有样本被分类准确的比例。1 m2 n4 ^5 Y# j; [8 v( m
    Accuracy = (TP+TN) / (TP+FP+TN+FN)
    % |' U4 u. D( `6 B' C. f
    ! j( Z6 M8 l- v1 D预测正确的数量除以总数量。
    " J% C: _% l" n" O: J
    " F$ f( z" S1 H& w  p0 h; U3.2 精准率% g5 k0 C6 g0 ]7 k
    5.png
    ! }2 c" ?! {: q: _查准率(精准率)定义如下:
    % {; U3 t4 T: L0 U( e衡量正样本的分类准确率,就是说被预测为正样本的样本有多少是真的正样本。- h7 u. z; l' L
    Precision = TP / (TP+FP): }/ K4 r7 Y: m

    9 R# z/ l: `, g# \8 s8 G精准率只考虑正例。
    ! E- C3 R0 N4 _3 _' N/ B1 |: Y* L* k: z" b' `4 B- J
    3.3 召回率6 {4 U# z) j0 S
    6.png / \) R8 I  f. G: w
    查全率(召回率)定义如下:# ]- _: q; J+ w( n% I! ]. E% [& T
    表示分类正确的正样本占总的正样本的比例。
      J$ S- P/ U; t' |Recall = TP / (TP+FN)$ N6 o: X3 l8 X( ]$ M3 @5 V; d( n

    2 _1 m. J. D( K# q
    2 I, f' }9 h( P1 Z3.4 调和平均值F1
    $ _  k5 ?7 d: i4 v$ o% Y 7.png # H+ W* ]6 [6 T  [
    F值(F1-scores)调和平均值F1定义如下:0 S! M( Y+ B$ x$ Y0 l, s/ f
    精确率和召回率的调和平均。# t& B3 l4 Y2 X
    精准率Precision和召回率Recall加权调和平均数,并假设两者一样重要。
    # j1 n0 K# m6 i! G8 R
    + {/ I) q" l; G1 lF1-score = (2Recall*Precision) / (Recall + Precision)
    # Q8 v! h6 E5 E  K1 W: c+ H! g1 y% o. r5 X0 i
    精准率和召回率是一对矛盾的度量。一般来说,精准率高时,召回率往往偏低;而召回率高时,精准率往往偏低。通常只有在一些简单任务中,才可能使二者都很高。1 M: S! E' u/ ?8 M, Z4 b
    最好的分类器当然是准确率、精确率,召回率都为1,但实际场景中几乎是不可能的,而且精确率和召回率往往会相互影响,一个高了另一个会有所下降,因此在实际应用中要根据具体需求做适当平衡。
      g. F3 R7 f$ f( @, Q( g9 n' N让我们做个练习加深下印象吧!+ k- ^9 I# F$ x, \! d
    : s: W4 F4 O* Y$ E* W
    以下说法正确的是( C )。1 p+ I9 ?7 y# s) r! U
    A 使用正确率去评估一个分类模型,效果会比精准率更好。
    4 p8 h! K* o8 k9 q. @3 m; _B 使用精准率去评估一个分类模型,效果会比召回率更好。
    : _; L& F* t, u; R& j6 I( l  y, JC 精准率与召回率通常要联合使用。
    & s: H7 K' R: {6 mD 精准率与召回率如果有一个值较低,F1值也可能会较高。
    0 {7 p2 g+ p$ w+ p* B  {如果精准率和召回率我们只能选择重视一个,我们会更看重( C )。
    ' G8 U0 d7 G( B. Q. k  ]! e! FA 精准率。
    ' `( E! c9 l0 j: G: g  @B 召回率。, D. `3 P( \# j5 F* q) j. }3 I
    C 具体场景不同,重视谁也会不同。
    + q! x% U/ h" C" S+ ]5 ]6 q$ b接下来我们通过程序来说明下:9 f7 l0 q* W2 ]7 v# v
    from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score7 J8 v- |: m. c

    / A" }& v* I0 n4 U1 M8 sprint("正确率:", accuracy_score(y_test, y_hat))# d8 x' `  I" g
    # 默认将1类别视为正例,可以通过pos_label参数指定。+ C- x; y1 h# u* W) _  z
    print("精准率:", precision_score(y_test, y_hat))) B- U- A: w0 r* M8 ^
    print("召回率:", recall_score(y_test, y_hat))8 y) p4 d9 O% D2 n1 l
    print("F1调和平均值:", f1_score(y_test, y_hat))! Z2 R/ c" ~6 l. n0 [1 h
    # 我们也可以调用逻辑回归模型对象的score方法,也能获取正确率。6 l5 ?" N- ^% r
    # 但是需要注意,score方法与f1_score函数的参数是不同的。) B6 B2 s# d+ s  K
    print("score方法计算正确率:", lr.score(X_test, y_test))1 z8 t# x8 @  k- C3 j  Y. q# @; b4 o

    6 O; U8 |" a& R/ G6 @7 `! m$ P2 ]! ^/ d1 X1 X: E
    结果:" k! J4 h9 s; I, B+ R5 y* \
    8.png . x. {% \* L9 E: k* D3 b
    除此之外,我们也可以使用classification_report函数来查看模型的分类统计信息,该方法会返回字符串类型,给出相关的分类指标评估值。1 |& Z. R. r0 U6 r+ P  L
    from sklearn.metrics import classification_report
    / o3 G7 J8 j! X5 N4 [' _
    ; ^7 `4 e. j/ W; @: Lprint(classification_report(y_true=y_test, y_pred=y_hat))
    : c) z+ k+ P' u3 {7 N2 @' N' c. v" L1 W+ q

    6 f1 U: w* w  T7 o/ }2 X结果:
    & K5 l1 K0 {! H5 U( r7 P, |! M 9.png
    / W8 g  C$ ]- c, I
    , t& {# m8 x3 @1 u% r9 g& [2 W! a) W练习:; Q; g; ^( v! Y2 z$ c& h- ], l

    5 J# R2 I, v! D( k! w. a: i/ ~如果使用精准率与召回率评估二分类模型时,我们应该将哪个类别设置为正例? (B): I& `4 U# l$ }% ~* r
    A 随意
    9 L( Y, Q! h: S, X. x" ~B 关注的类别3 t/ i7 o: s7 u' g4 o  @
    C 不关注的类别
    ' g  h. D3 Q6 P$ \7 X( w4、ROC和AUC' N7 t/ f' A" r* A7 K8 B( W

    " r* J1 N7 C2 tROC(Receiver Operating Characteristic)曲线和AUC常被用来评价一个二值分类器(binary classifier)的优劣。
    3 S5 V( v8 P; b6 E; @9 J9 v0 `
    4.1 ROC曲线
    ! h/ ]4 ~+ ~/ }: \$ |+ b) f/ q1 ?5 W 10.png
    * Y1 b% G5 P; A& h! `4 _ROC曲线(Receiver Operating Characteristic——受试者工作特征曲线),使用图形来描述二分类系统的性能表现。图形的纵轴为真正例率(TPR——True Positive Rate),横轴为假正例率(FPR——False Positive Rate)。其中,真正例率与假正例率定义为:
    , o# q9 A& i8 I/ x2 z: f/ [4 j) ]- v7 l5 a
    ROC曲线通过真正例率(TPR)与假正例率(FPR)两项指标,可以用来评估分类模型的性能。真正例率与假正例率可以通过移动分类模型的阈值而进行计算。随着阈值的改变,真正例率与假负例率也会随之发生改变,进而就可以在ROC曲线坐标上,形成多个点。
      N3 w9 P$ a2 ^4 a/ k! ^5 I. T7 n6 ]: s
    2 [% Y6 H4 [1 b2 U/ zROC曲线反映了FPR与TPR之间权衡的情况,通俗来说,即在TPR随着FPR递增的情况下,谁增长得更快,快多少的问题。TPR增长得越快,曲线越往上凸,模型的分类性能就越好。- e1 {% ?3 Y- P; R# s( a

    5 ^6 {( L/ I: x2 ^9 D5 l" z, R5 pROC曲线如果为对角线,则可以理解为随机猜测。如果在对角线以下,则其性能比随机猜测还要差。如果ROC曲线真正例率为1,假正例率为0,即曲线为与构成的折线,则此时的分类器是最完美的。
    ( @- U) }) G1 I# X# {. ?+ y
    : ?( T; K) b/ b  ]+ m; }" O8 e下图就是ROC曲线的一个示意图:) @  _8 N: J! ?  a
    11.png * x" S4 L( w! l. J4 L* O
    ROC曲线横坐标是FPR(False Positive Rate),纵坐标是TPR(True Positive Rate)
    , V2 j' E$ T9 e% L" h接下来我们考虑ROC曲线图中的四个点和一条线。
    % X! u6 G; ^' d# s4 ~6 _* R  I- ?. ^# [/ \# T( |/ _6 L& @
    第一个点,(0,1),即FPR=0, TPR=1,这意味着FN(false negative)=0,并且FP(false5 D" Z  N! p5 _2 G- S; o
    positive)=0。这是一个完美的分类器,它将所有的样本都正确分类。. G) ~* ?# N3 l: v! y$ F0 `
    第二个点,(1,0),即FPR=1,TPR=0,类似地分析可以发现这是一个最糟糕的分类器,因为它成功避开了所有的正确答案。
    3 a# M/ B  O/ S* _& @5 W第三个点,(0,0),即FPR=TPR=0,即FP(false positive)=TP(true
    # D2 g# |: B  }( G' ?positive)=0,可以发现该分类器预测所有的样本都为负样本(negative)。" F# W1 `6 p$ e& Q9 Q; c6 p) \0 {
    第四个点(1,1),分类器实际上预测所有的样本都为正样本。经过以上的分析,我们可以断言,ROC曲线越接近左上角,该分类器的性能越好。4 z1 A' p, }7 u
    如何画ROC曲线:
    6 q9 v  t2 B5 P% u$ L
    ' u7 \6 n, |# G: y) N/ L对于一个特定的分类器和测试数据集,显然只能得到一组FPR和TPR结果,而要得到一个曲线,我们实际上需要一系列FPR和TPR的值,这又是如何得到的呢?我们先来看一下wikipedia上对ROC曲线的定义:2 @$ I/ Y- u: `/ x

    ' M5 u3 y- x" ?6 [2 u/ ~( bA receiver operating characteristic curve, i.e. ROC curve, is a0 t, u. H6 S: s
    graphical plot that illustrates the diagnostic ability of a binary9 }, @; r) X- F
    classifier system as its discrimination threshold is varied.
    + x3 u: D0 S7 r' x% @5 D译:ROC曲线是由一系列因区分阈值变化产生的点,用于描述二分类模型的判断能力
    1 k5 {5 @0 j( @. q# ]$ l这里的关键在于 “its discrimination threshold is varied” ,因为对于一个二分类模型,它的输出结果其实是判断这个样本属于正样本的概率值,假如我们已经得到了所有样本的概率输出(属于正样本的概率),现在的问题是如何改变“discrimination threashold”?我们根据每个测试样本属于正样本的概率值从大到小排序。下图是一个示例,图中共有20个测试样本,“Class”一栏表示每个测试样本真正的标签(p表示正样本,n表示负样本),“Score”表示每个测试样本属于正样本的概率& r9 o" f3 k' \7 j1 Y/ @/ s; I
    12.png
    6 Y# ~; N, G. @然后我们按照样本的score值,从大到小依次作为阈值,当样本score值大于等于阈值时则判定为正样本,否则为负样本。
    - t+ I+ P. Q) r8 V3 n+ y, ?: C+ Q/ y4 h例如第一个阈值取0.9,这时只有id=1的样本被预测为正样本,其余都是负样本,此时TPR=1/1+9=0.1, FPR=0/0+10=0。还例如:对于图中的第4个样本,其“Score”值为0.6,那么样本1,2,3,4都被认为是正样本,因为它们的“Score”值都大于等于0.6,而其他样本则都认为是负样本。) W1 X$ S/ K3 b) W/ P- H. Y

    " F1 O5 u9 y5 ^" s详细如下:
    ' {; z# E$ B' [0 F. Z  t 13.png 5 z4 g/ I; Y; R7 ?. y
    由此我们便得到了一组(FPR,TPR)的值,可以绘制出ROC曲线:3 _; w, Y( v, B5 F9 I. B" d4 m
    14.png # d( a5 c3 P5 K1 F" N8 T! S6 k
    当我们将threshold设置为1和0时,分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来,就得到了ROC曲线。当threshold取值越多,ROC曲线越平滑。
    3 g/ Z& D9 z; \1 Y
    , z: w' r7 J  q# R- W+ o/ V  P4.2 AUC
    & i/ @& }! }7 ^8 B' N5 d 15.png
    : ]3 y! o, |6 z3 mAUC(Area Under the Curve)是指ROC曲线下的面积,使用AUC值作为评价标准是因为有时候ROC曲线并不能清晰的说明哪个分类器的效果更好,而AUC作为数值可以直观的评价分类器的好坏,值越大越好。5 P4 p" R: j" r; W) w3 \. g0 z
    . w+ C) \, }. ?' e$ p
    AUC是ROC曲线下的面积。* A4 s6 t7 ]/ o* ]
    AUC的取值为[0.5-1],0.5对应于对角线的“随机猜测模型”。
    ' U2 A/ j) Z! D9 \) oAUC值是一个概率值,当你随机挑选一个正样本以及负样本,当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值,AUC值越大,当前分类算法越有可能将正样本排在负样本前面,从而能够更好地分类。7 W/ X6 Y0 A8 j& z$ c9 w7 G0 w
    - z6 n2 z% s( ~- R) c) }2 |0 [8 m
    从AUC判断分类器(预测模型)优劣的标准:
    7 n; ?3 m" D( ^- g
    + k2 `: Q8 ?$ C+ ?* N( T0 V
    / Z0 m/ G4 j+ [& j例如一个模型的AUC是0.7,其含义可以理解为:给定一个正样本和一个负样本,在70%的情况下,模型对正样本的打分(概率)高于对负样本的打分。
    5 o8 t: w! q$ Y0 I
    5 T2 L' F# J! D* l* g三种AUC值示例:( G. E8 P, a1 _& E$ D6 e: b
    16.png   J' l6 e4 j7 }# g! e2 w$ }
    简单说:AUC值越大的分类器,正确率越高。
    * K8 R* B- y$ U) l$ r' {* o
      {- |- @6 ^$ M: ^$ {+ C那么为什么要用AUC作为二分类模型的评价指标呢?为什么不直接通过计算准确率来对模型进行评价呢?7 l9 T/ J' X( v$ j: D* l. Y
    因为机器学习中的很多模型对于分类问题的预测结果大多是概率,即属于某个类别的概率,如果计算准确率的话,就要把概率转化为类别,这就需要设定一个阈值,概率大于某个阈值的属于一类,概率小于某个阈值的属于另一类,而阈值的设定直接影响了准确率的计算。也就是说AUC越高说明阈值分割所能达到的准确率越高。% I, X# o0 F  ]% C

    6 _( ]9 W4 y: K  }小练习:
    2 E" U8 p( r  Y; }6 N" ?- e; Y! Q3 P# |3 o
    以下说法正确的是( ABD)。【不定项】$ Q- n9 j) h# u( |9 N7 @
    A 随着阈值的降低,TPR与FPR都会增大。- \% C! D3 A* e1 W- v
    B TPR与召回率的值是相同的。( B- Q1 I" j* @: M; s2 g9 t
    C 如果AUC的值非常低,例如,0.1,则该模型效果很差,也很难调优。
    ; b" O* G; r/ K6 Z2 SD 无论是什么分类模型,ROC曲线一定会经过(0, 0)与(1,1)这两个点。
    # l, F8 B( j) Y1 i  [3 @1 s4.3 ROC曲线程序示例* o4 T- L9 r  F7 B  o0 m

    $ ]8 y  {$ g; h6 S我们首先来看一个简单的程序示例,借此来说明sklearn库中,ROC曲线的实现细节。0 o3 A4 p& l2 b$ V4 L- i" m

    * z3 W! N2 W! S) I& k0 t4.3.1 roc_curve函数的参数
    & W9 X" }3 D+ l# ]6 [' o% `import numpy as np
    " m& F& o6 j: kfrom sklearn.metrics import roc_curve, auc, roc_auc_score7 U& A' x% X; a) B$ u1 ]! p
    y = np.array([0, 0, 1, 1])
    # x( y) t0 V7 sscores = np.array([0.2, 0.4, 0.35, 0.8])
    : |. D* y7 [+ _5 D1 }" n# 返回ROC曲线相关值。返回FPR,TPR与阈值。当分值达到阈值时,将样本判定为正类,) D9 ]* g& Z- P3 v
    # 否则判定为负类。  W: }0 t1 t; ~" h% X+ w1 ]
    # y_true:二分类的标签值(真实值)。4 R! x/ c) ^( b
    # y_score:每个标签(数据)的分值或概率值。当该值达到阈值时,判定为正例,否则判定为负例。8 E" H$ |2 M9 K6 J. w: D* D
    # 在实际模型评估时,该值往往通过决策函数(decision_function)或者概率函数(predict_proba)获得。, D) T! v+ x+ `2 |, |7 z3 d( q% F6 E
    # pos_label:指定正例的标签值。3 e& t: Z) y# [. b3 R( V
    fpr, tpr, thresholds = roc_curve(y, scores, pos_label=1)$ p6 {7 q5 |1 P
    print(f"fpr:{fpr}")
    : h/ _/ \& A2 _1 @6 |  Wprint(f"tpr:{tpr}")
    2 t1 x" Z* o3 h: ?0 I5 w4 uprint(f"thresholds:{thresholds}")
    + i0 d7 e% {5 t" B* q5 z" h# auc与roc_auc_score函数都可以返回AUC面积值,但是注意,两个函数的参数是不同的。  W) F# ~2 b' i3 I0 @0 b
    print("AUC面积值:", auc(fpr, tpr))" r/ n' r- c6 n" R1 F% F. @' E
    print("AUC面积得分:", roc_auc_score(y_true=y, y_score=scores))
    . n+ O3 e; K' J6 o. g& R* R#### 3.3.2 roc_curve函数的返回值* n; C/ h. Q2 d& u% R
    & M* _9 Z1 N, p( w
    结果:
    ) O/ ]0 d2 @4 }. w$ W. o 17.png 1.8 是怎么来的?
    : W, s: I+ w" A$ f# x7 F1.8是阈值中最大值+1(0.8+1)得来的。为什么这么算?因为要使得最开始得到的所有阈值都不会超过这个值,才能过(0,0)和(1,1)这两个点。
    % t- p8 U1 g3 _: t  [% }9 f4 f" \, n' i
    4.3.2 roc_curve函数的返回值! Y9 {( k1 x* D$ |/ l! q% o

    & r- n  m2 p; k  _1 mroc_curve函数具有3个返回值:# p  W' @1 |/ b$ }$ w) @! {
    6 |8 E9 U$ m$ X& a! ]% N" J: [
    fpr 对应每个阈值(thresholds)下的fpr值。
    ; `+ y, w' i; t7 v/ Z+ Ntpr 对应每个阈值(thresholds)下的tpr值。
    / c) {* G4 I/ n# }0 n& h3 Qthresholds 阈值。& ~& U( o9 Q+ C, W$ X  b& {& D% p
    roc_curve函数会从y_score参数中,选择部分元素作为阈值(选择哪些元素属于实现细节,会根据sklearn版本的不同,也可能会有所差异。),然后进行降序排列,作为roc_curve函数的第3个返回值(thresholds)。同时,根据thresholds中的每个元素(阈值),分别计算fpr与tpr。
    + H; q& a( T2 `& k1 E* Ziris = load_iris()
    . y$ E& ^4 A0 b5 H* `$ UX, y = iris.data, iris.target
    * h- \7 M: g0 w. W1 X4 u* c+ \X = X[y != 0, 2:]% t: T9 E8 r  j- d5 ^4 _& v+ P
    y = y[y != 0]2 G( Y" ^6 ?( m4 x5 ~
    y[y == 1] = 0, N2 ~# a; G% M! c+ X8 E/ R( E
    y[y == 2] = 1
    ; J, D9 l& @7 x4 N2 tX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25,
    ) T, d! c+ c+ M: t) [/ M5 _random_state=2)
    2 S& s& W! p) z9 x# lr = LogisticRegression(multi_class="multinomial", solver="lbfgs")4 e! g: I1 X7 V9 h$ y3 d
    lr = LogisticRegression(multi_class="ovr", solver="liblinear")
    / E  }, H: U5 l5 I, t  b/ _0 Slr.fit(X_train, y_train)0 |. }" ~* ]+ @- g4 y9 ?6 @, t
    # 使用概率来作为每个样本数据的分值。
    7 P' I1 u0 |, N3 }, R; u3 Hprobo = lr.predict_proba(X_test)
    , L: X" h' R+ X* X3 S( G+ i4 \fpr, tpr, thresholds = roc_curve(y_true=y_test, y_score=probo[:, 1],
    7 U& i5 g6 V0 z0 npos_label=1)
    . i- J1 @' V/ J- f( Q+ n+ vdisplay(probo[:, 1])/ e% H2 p+ s, x& k
    # 从概率中,选择若干元素作为阈值,每个阈值下,都可以确定一个tpr与fpr,
    ) Q" n3 ~- i- N' f- p# Q$ Y# 每个tpr与fpr对应ROC曲线上的一个点,将这些点进行连接,就可以绘制ROC曲线。
    ( G  }( Q& i$ u( [$ y* adisplay(thresholds)- M% r# G5 ~8 P1 k" O2 }
    0 S  g, B, V  v$ W
    结果:" v1 C0 v3 Q- S
    18.png : s- S  `7 f5 Y. @# z

    2 ^! q% ^: U2 @8 q; X, @
    ) M  @6 S$ [5 Q* Y1 V' q+ W' x# 随着阈值的不断降低,fpr与tpr都在不断的增大。: X# K3 K6 r5 p$ w
    fpr, tpr
    0 v* [& E9 J7 G1 I* t0 e) c& f2 v8 P
    结果:  h- S' P0 V& x0 I& U9 J8 @
    19.png
    $ U+ ?* D, Z" S- Q9 V7 T+ W* _; A; `- L& c
    4.3.3 绘制ROC曲线
    " B& b* ?  y+ J& H7 ^$ F% `有了fpr与tpr的值,绘制ROC曲线是非常容易的,只不过是最简单的一个plot而已。
    / V4 U6 Y+ p, }  C1 Y0 {* y: K/ u9 Kplt.figure(figsize=(10, 6))
    % Y) g2 h3 ~! }plt.plot(fpr, tpr, marker="o", label="ROC曲线")' _2 x5 i% O2 P* ~2 [0 c; f0 y
    plt.plot([0,1], [0,1], lw=2, ls="--", label="随机猜测")
    4 k: H8 z$ |. r2 q) Mplt.plot([0, 0, 1], [0, 1, 1], lw=2, ls="-.", label="完美预测")6 R( `& a/ x6 `0 d- Z" `% F
    plt.xlim(-0.01, 1.02)) @6 Y* q% I( o
    plt.ylim(-0.01, 1.02)
    ! _% y  k$ Z# U5 Kplt.xticks(np.arange(0, 1.1, 0.1))+ V" b7 d. D- n1 V; l  v- F3 v
    plt.yticks(np.arange(0, 1.1, 0.1))
    5 [- D4 C) U6 i/ Fplt.xlabel("False Positive Rate(FPR)")
    / v. G& d5 P; o2 V) o+ G* D% W8 Nplt.ylabel("True Positive Rate(TPR)")" \  k. j7 M7 ]! h- y7 V3 w
    plt.grid()
    ! ], ?$ q6 i7 Y' {plt.title(f"ROC曲线-AUC值为{auc(fpr, tpr):.2f}")) x- a  r9 B" X+ z! ^' V* b& E6 U5 A4 l( n
    plt.legend()
    / e8 |+ E( {% y' Xplt.show()7 O% z( F. P- J' \8 I7 q
    20.png
    + _3 h* x# A0 i+ i+ z4 t
    & w: v' d( }1 o' ^( ?5、总结
    . s  P0 V0 o0 W; z
    * h1 L+ _- q+ [3 W混淆矩阵的含义。
    $ M3 m9 Z7 Y8 o6 s正确率,精准率,召回率与调和平均值F1的含义。1 z# K4 o) {: t; }
    ROC与AUC。
    / L6 S. _8 G& j% d7 M, l
    3 S! N% w: k/ Y2 O, S+ \参考资料:1 B9 M0 \4 P% m7 M& K6 V/ O8 W; L
    1、https://blog.csdn.net/zuolixiangfisher/article/details/813282973 F3 U; D' D- D# J; B9 ?4 E( R) g
    2、https://www.jianshu.com/p/2feb00839154
    0 R- {4 L* d$ O# j) C3、https://www.cnblogs.com/kamekin/p/9788730.html
    4 ~" C) c7 M2 o4、https://www.jianshu.com/p/c61ae11cc5f6
    9 y/ Y9 Q8 P7 {1 T————————————————
      s% K' Q7 s9 U1 I" Q5 J& S版权声明:本文为CSDN博主「糖潮丽子~辣丽」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    % d4 m$ E& g2 W8 J4 ?" i2 }6 k原文链接:https://blog.csdn.net/qq_39783601/article/details/105600700, @7 r; L, _5 ]* n! i
    6 i. Z1 |0 C$ T# w3 {: y8 v
    , C  `! t" H2 ~' C# l3 d
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信

    0

    主题

    1

    听众

    11

    积分

    升级  6.32%

  • TA的每日心情
    开心
    2020-4-19 10:15
  • 签到天数: 2 天

    [LV.1]初来乍到

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-6-10 06:06 , Processed in 0.360379 second(s), 59 queries .

    回顶部