数学建模社区-数学中国

标题: 详细讲解分类模型评估 [打印本页]

作者: 杨利霞    时间: 2020-4-19 11:53
标题: 详细讲解分类模型评估
9 g( @7 \* J5 K8 ?( T) |$ J
详细讲解分类模型评估分类模型评估6 q. _4 P. a5 X& @

  b( ~: Z4 w! q8 @" o0 }3 E" {1、分类模型7 n0 z  P" f" t9 ~5 ^; J
主题:如何对分类模型进行评估+ T0 x% B. ^9 I4 o* {  {. Z1 }; B
目标:( D0 B* ~# L% ~" A9 D2 `. i
2、混淆矩阵2 Z* H- e. t. n( {
3、评估指标- u  T/ n( r+ _& L8 a, M6 `
3.1 正确率: x& K: r$ q  l; l+ e
3.2 精准率
4 J) Z' h- k7 p4 R: @$ _8 X. I2 G3.3 召回率
- ~! e% W+ o* N7 K3.4 调和平均值F1! O- ~  ^% f( u( q: I; r
4、ROC和AUC
; J" e3 B( ^' @7 W: ]# X8 x4.1 ROC曲线% C9 ~8 f  D6 y5 |' \
如何画ROC曲线:
  W. O8 L3 h2 F  r$ |) [  [4.2 AUC7 t' `) r& R* t" V6 A$ ~& k
4.3 ROC曲线程序示例
  A/ G- a" c3 w4.3.1 roc_curve函数的参数" M$ {+ m0 t0 O- j* g
4.3.2 roc_curve函数的返回值
2 V( C. z5 e. v4.3.3 绘制ROC曲线
6 W* ?( N6 p* w. B; a, _: ?3 j4 k7 Z5、总结2 ]" |- l- Q: `9 W5 e
1、分类模型; {( Y  d+ t7 ^7 V0 S
1 m& A1 `% E: Z& d1 {- W
分类问题在我们日常生活中处处可见,比如我们对帅哥的分类,可能对帅哥分为非常帅和一般帅。比如我们平时刷淘宝,淘宝根据我们平时的喜好给我们推送产品,那我们就会把产品分为感兴趣和不感兴趣两类。% ]/ ~" c* y/ d2 p# u& E
上述所说的问题就是典型的分类问题,确切的说其实就是二分类问题。
$ q5 K: m5 l4 ^0 O+ E能够解决这些二分类问题的数学模型就被称为二分类模型。
$ [, P) [# f1 l4 C用数学的方式表达就是,给定自变量X,代入到我们的分类模型F,会输出因变量y,y的取值为0或1,其中0代表负样本(一般帅的帅哥、不感兴趣的推送),1代表正样本(非常帅气的帅哥、感兴趣的推送)。
- I! j# u, y, I' m! G. r# h& m! R. j6 m! F4 }$ Q
主题:如何对分类模型进行评估- L+ {; }" m/ n+ X
/ m- i% c, @5 {
目标:
. L& }4 l$ {! \# V; e. d; V! K5 X, D
& ~8 x# r& |3 x+ i! G- V4 _能够熟知混淆矩阵的含义。
# l- v) D% Z) ]2 Y$ j1 D能够使用各种指标对分类模型进行评估。
3 d7 |$ F! F7 |- E: z" ?能够独立绘制ROC曲线,并熟悉该曲线细节。" Y$ I' Q. i! c9 ]' u2 S1 c
能够对样本不均衡进行处理(扩展内容)。
6 Y/ q0 ]- L2 l2、混淆矩阵
$ f; ^" S9 r1 v/ K/ H# n  H6 u7 {0 I$ u/ w# Q
混淆矩阵,可以用来评估模型分类的正确性。# C0 U- \! e0 V
该矩阵是一个方阵,矩阵的数值用来表示分类器预测的结果,包括真正例(True Positive),假正例(False Positive),真负例(True Negative),假负例(False Negative)。' k5 u- e& \& S5 B. j$ }7 H( B( z
1.png
( p/ H1 E8 ^- m' @, I; V矩阵的形状是2 x 2,其中, - 矩阵的左上角表示,预测值为1,实际值为1(True Positive,简称TP); - 右上角表示预测值为1,实际值为0(False Positive,简称FP); - 左下角表示预测值为0,实际值为1(False Negative,简称FN); - 右下角表示预测值为0,实际值为0(True Negative,简称TN);1 P+ d" R$ \% q

3 |& v9 W- G- w5 ?# g真负例(TN)+ 假正例(FP)——每个类别真实存在的负例的数量0 S: E& j3 a7 r
假负例(FN)+ 真正例(TP)——每个类别真实存在的正例的数量
8 ?, W. ^/ e9 r1 L  ?真负例(TN)+ 假负例(FN)——每个类别预测的真负例数量
- l/ Y3 A$ i) Y假正例(FP)+ 真正例(TP)——每个类别预测的真正例数量( Z- r% }$ [! L# a
其中:; o% v0 z2 s& s

/ e' }) f5 \+ j  T( Y4 o" uTP:真正例,实际为正预测为正;
3 {+ a5 ^( l3 k6 y$ }FP:假正例,实际为负但预测为正;; }; u  S) M. b) c( T6 f$ B5 r
FN:假反例,实际为正但预测为负;
" _( _3 o- ?: ~2 FTN:真反例,实际为负预测为负' d! \/ K5 ]& F
接下来,我们通过数据来看下鸢尾花的混淆矩阵:
5 T9 H$ {! a. Mimport numpy as np
7 d8 O; {6 Q0 ~6 q9 C6 Q3 Qfrom sklearn.datasets import load_iris
) R$ B, T( m) A, f" f  pfrom sklearn.linear_model import LogisticRegression
) J, m6 x' u) d# Bfrom sklearn.model_selection import train_test_split
1 T0 a; [( Y1 n, ~  p4 }# 混淆矩阵
# @* \& g& I6 ], Jfrom sklearn.metrics import confusion_matrix6 g4 D7 ]5 @, d. `+ t& _
import matplotlib.pyplot as plt
; k, g1 h. g& N9 R7 b# q1 z7 Nimport warnings- J) k1 h" o4 }

+ }' M, z9 u- r  W3 Jplt.rcParams["font.family"] = "SimHei"( j3 l- @; S$ ^+ R+ J5 a
plt.rcParams["axes.unicode_minus"] = False0 b4 n' H$ \3 N8 y5 W' T% ]9 q- f4 ~
plt.rcParams["font.size"] = 121 S; ?  W. i0 Z& \, ^
warnings.filterwarnings("ignore")( V$ t* g- W$ N7 L- t8 K; m
+ x8 _4 v4 e4 |6 u
iris = load_iris()  #导入鸢尾花数据集
; J% Z* [+ G0 cX, y = iris.data, iris.target, ~: d9 o* h' ]
X = X[y != 0, 2:]
- D. b' p! V1 R3 h: I' R7 }y = y[y != 0]. C1 }7 y1 s( k8 [, ?4 e; t
y[y == 1] = 0* W1 k8 u% z' z$ f
y[y == 2] = 1
/ ^3 b0 m- U9 }! z! _X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=2)
( _; P- R  h% P, P: ~+ s' ulr = LogisticRegression()  #使用逻辑回归
/ U0 |" U6 p8 {# l, Vlr.fit(X_train, y_train)' c" g, X7 q9 h3 k: v4 c4 e. C' @8 l
y_hat = lr.predict(X_test)3 N, u9 P% P5 g3 Q
# 根据传入的真实值与预测值,创建混淆矩阵。
: t! Q5 r' X( |& Ymatrix = confusion_matrix(y_true=y_test, y_pred=y_hat)! _2 `$ B7 r+ }' S% W9 I
print(matrix)
! c8 P" a# h6 S1 ~0 r  i. m7 ]
9 x; g; n( N% Z0 a$ z/ _2 w" U$ j/ k7 r+ [
输出结果:
8 w$ L+ _6 n5 a: N; _! p8 ]& }, z' L( g 2.png
; ~# q0 P6 @& Y我们还可以对其进行可视化操作:! Z7 b  R8 [2 k
mat = plt.matshow(matrix, cmap=plt.cm.Blues, alpha=0.5)    #cmap 指定颜色图色系,alpha透明度
0 }# K6 C, m; t  j6 llabel = ["负例", "正例"]
% B/ z- M5 D! l/ f! F$ P4 {ax = plt.gca()) Z$ E- }- o2 y( g
ax.set(xticks=np.arange(matrix.shape[1]), yticks=np.arange(matrix.shape[0]),
& K( A' R' x+ C# s# ~  K        xticklabels=label, yticklabels=label, title="混淆矩阵可视化\n",+ [$ r1 m6 }" K9 r( D
        ylabel="真实值", xlabel="预测值")0 H' l( H: O4 A' n5 p
for i in range(matrix.shape[0]):
* _  M  B1 W. D1 }( s8 O3 b    for j in range(matrix.shape[1]):3 x) W0 p( s* l4 ~
        plt.text(x=j, y=i, s=matrix[i, j], va="center", ha="center")4 W! w- b0 H3 j& Q- U, N! L0 E  ~& ^
a, b = ax.get_ylim()) E- I7 W5 J9 W9 a7 ]0 m. [4 n
ax.set_ylim(a + 0.5, b - 0.5)3 X+ j1 [) r( h/ k& b+ @2 y
plt.show()
! }) P; s. W% o+ n  A- E% r0 l. K7 K. A/ r8 C" o% z3 R, q. ^

& q+ S5 {: B! z: N& ]  V0 d6 n; {代码解析:
$ v' @( B& u5 r- g- t( Omatshow( ) 绘制矩阵,alpha 透明度4 K+ T4 G: U! U+ w3 O1 P+ [
结果:- T4 m$ p3 V: q! m! y  c5 d
3.png
+ [/ t& d6 v  i& G. n$ W$ }练习:" y2 U2 K' z8 _+ j: d3 z9 {  @
5 v- k0 K+ ~" @9 N4 x/ r, j
关于混淆矩阵,说法正确的是( ABCD)。【不定项】
# }" y+ o. }- f. I% KA 混淆矩阵可以用来评估分类模型。
: N/ U7 D; o, V* B3 _B 混淆矩阵中,TP与TN的数值越大,则分类的效果越好。$ R: q; p& X# k$ z4 V
C 混淆矩阵一行元素的和代表某个类别的实际数量。
; @  O6 R. U: U/ ~9 i2 u% s9 `D 混淆矩阵一列元素的和代表某个类别的预测数量。3 c! n: Z8 C' m* w1 x
3、评估指标
; x/ O; A" P  p
3 {8 L' A+ H7 j, H' I对于分类模型,我们可以提取如下的评估指标:
% p0 ^! ^9 ~6 A5 R5 ^/ [4 h$ Z. p# c: ?: \1 W: _4 P2 u
正确率(accuracy)( d: _( d. a4 G+ c
精准率(precision)
; f5 c) B, A# m9 j) ~# ]召回率(recall)
- R" I8 @/ E1 Q# n  H5 G: RF1(调和平均值)+ K0 |7 [0 |3 J2 a  M
3.1 正确率
" a. I- p) u3 V5 H* C 4.png
  b" ^4 [, A6 v# u' E, z正确率(准确率)定义如下:
8 n1 V  j$ O6 A3 s0 n2 Y衡量所有样本被分类准确的比例。7 O9 `9 ]7 j3 T+ w% g: y3 T, N
Accuracy = (TP+TN) / (TP+FP+TN+FN)7 O7 i0 T6 S5 b# e- ^8 [" R

  n' w( {- b5 o# ^预测正确的数量除以总数量。% D# Q& C. E6 d$ h  i5 d* n
' ]% `9 r4 R; f/ W+ l% f
3.2 精准率
- t( r8 B# E8 r/ Q; Q3 k 5.png
6 K& |/ f$ {- C- x& {% P查准率(精准率)定义如下:
+ ~9 p1 k6 Q& ?, i( O9 j/ o衡量正样本的分类准确率,就是说被预测为正样本的样本有多少是真的正样本。
( ^/ V+ G$ x8 L+ O! Z$ e! q; N; ZPrecision = TP / (TP+FP)! n( j" p5 h: U' D
8 {! {8 E3 t5 [$ T1 b% S) r
精准率只考虑正例。
+ g. o$ a) S; Z3 v0 N8 N, F; q& Y  w
3.3 召回率
3 C1 F* f- R' O7 m 6.png
( _* A$ v" d4 x2 q6 \; _3 q3 O: d查全率(召回率)定义如下:
$ C2 \1 k& T" }9 u表示分类正确的正样本占总的正样本的比例。
1 c- w* l! u# L: E4 E% B5 K7 NRecall = TP / (TP+FN)2 Q. u& }5 v7 J1 e# P

9 n6 [8 N- [; G4 g
" I) k3 R) x4 D$ |% q3.4 调和平均值F1
7 J: A, X$ p+ S 7.png
* L  V2 ]' W1 y* ?. Z" u! fF值(F1-scores)调和平均值F1定义如下:3 e3 C! U9 C* q5 }5 S) o. N* \
精确率和召回率的调和平均。
3 W' S) D) |+ H1 e4 Q  G% N  Q精准率Precision和召回率Recall加权调和平均数,并假设两者一样重要。
( B0 d3 ~: q+ Q
+ y# n; p( V1 d, I2 l3 S& KF1-score = (2Recall*Precision) / (Recall + Precision)
% z( z3 f8 X0 a1 S& D3 @$ I) \
0 F1 U# S+ r' o# z. J精准率和召回率是一对矛盾的度量。一般来说,精准率高时,召回率往往偏低;而召回率高时,精准率往往偏低。通常只有在一些简单任务中,才可能使二者都很高。
% Q* S  \9 o: B% b; `; z$ K$ R, i最好的分类器当然是准确率、精确率,召回率都为1,但实际场景中几乎是不可能的,而且精确率和召回率往往会相互影响,一个高了另一个会有所下降,因此在实际应用中要根据具体需求做适当平衡。
1 P/ n0 \7 M! T让我们做个练习加深下印象吧!( b! B) t7 `, p1 k* u& s

7 n5 }  l, d, B6 v1 V+ X* f$ L以下说法正确的是( C )。
8 o3 m6 t, K0 ]% YA 使用正确率去评估一个分类模型,效果会比精准率更好。
& ?, @* e3 u0 Q6 B7 A/ U! _B 使用精准率去评估一个分类模型,效果会比召回率更好。
' d2 U) g! B# U9 P3 k9 e: CC 精准率与召回率通常要联合使用。
1 p$ M  `& W, ^' Q# qD 精准率与召回率如果有一个值较低,F1值也可能会较高。. c5 X5 Y: j% p2 s, A% b
如果精准率和召回率我们只能选择重视一个,我们会更看重( C )。/ l1 Z; ^3 l; ]0 i) V# s8 ?! x
A 精准率。
# p$ S/ t* H& |, wB 召回率。
/ V5 w) A1 y( e2 P2 v+ w" z8 uC 具体场景不同,重视谁也会不同。
& k1 J. @4 K5 l1 J9 B8 N) ~- h; @接下来我们通过程序来说明下:, p% q* \5 k5 v/ G$ u
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score# U+ `; o0 ]+ u: V7 ~: f+ |. Q

8 n5 k8 i* r5 _% a# sprint("正确率:", accuracy_score(y_test, y_hat))" A: `7 z# ?3 v9 }* a
# 默认将1类别视为正例,可以通过pos_label参数指定。( X0 i2 \/ l- N* M6 M* Y! I
print("精准率:", precision_score(y_test, y_hat))) z3 K! e' `, Z( H
print("召回率:", recall_score(y_test, y_hat))
8 f9 Z3 B8 [/ P1 l& l+ tprint("F1调和平均值:", f1_score(y_test, y_hat))
# E4 J( n  E0 N# 我们也可以调用逻辑回归模型对象的score方法,也能获取正确率。
9 ^; h+ ]$ v3 @1 ~# 但是需要注意,score方法与f1_score函数的参数是不同的。
, ?9 i; ?% p6 pprint("score方法计算正确率:", lr.score(X_test, y_test))
* |$ j& D/ n7 y8 B' Z5 |6 F5 r& E+ o$ C
: w" x0 E' b* {0 \( A! T
结果:: |8 Y% F6 ]6 q1 g
8.png
" _0 v$ [" u2 B& O% F$ F除此之外,我们也可以使用classification_report函数来查看模型的分类统计信息,该方法会返回字符串类型,给出相关的分类指标评估值。
; h, s5 [+ x6 H& [" T  |from sklearn.metrics import classification_report% k0 J- V, u+ i4 R2 `) L) n5 ~

& T7 U' ^5 k& t1 Gprint(classification_report(y_true=y_test, y_pred=y_hat))
: d' H) J& T& o' q( w4 a' A) i6 y
- X" T. b9 W0 m6 A8 z+ y, X3 l% J0 S: E+ T+ J* G% A
结果:+ x- ?& ~, n/ ]+ [' l, X8 g: k" e
9.png
4 r+ K0 W% N, E* ^9 t! f! |
5 u$ w( Q  h5 W, f练习:: o4 n- T. H! q8 W2 ]
& o- V2 Z! p1 D( q; x4 C! d
如果使用精准率与召回率评估二分类模型时,我们应该将哪个类别设置为正例? (B)+ S7 P; ]6 [; F  h9 E
A 随意
- o4 q( _# a, e, H7 yB 关注的类别
( G, \* ~. t3 A+ Y$ H1 p& l4 q% q" k7 sC 不关注的类别
% |5 W& S7 I1 N4 g) l4、ROC和AUC
; ]3 L9 Z- h* c5 _/ r6 k, D+ G: _$ H9 b6 ~3 T- ]( A4 }
ROC(Receiver Operating Characteristic)曲线和AUC常被用来评价一个二值分类器(binary classifier)的优劣。
% X# i: h% W8 c( U8 a( J8 C: O4 I+ H2 d% P3 w
4.1 ROC曲线
# R, o1 Z  b, Y: J5 |) I% f 10.png : \8 |7 H' d. _7 u9 N. D
ROC曲线(Receiver Operating Characteristic——受试者工作特征曲线),使用图形来描述二分类系统的性能表现。图形的纵轴为真正例率(TPR——True Positive Rate),横轴为假正例率(FPR——False Positive Rate)。其中,真正例率与假正例率定义为:
7 j) h! m; e( e6 R: Y1 G
. p3 ^. s6 k0 g. V5 CROC曲线通过真正例率(TPR)与假正例率(FPR)两项指标,可以用来评估分类模型的性能。真正例率与假正例率可以通过移动分类模型的阈值而进行计算。随着阈值的改变,真正例率与假负例率也会随之发生改变,进而就可以在ROC曲线坐标上,形成多个点。
0 a2 I; ^  P6 e" H
/ O+ s: ]$ e) JROC曲线反映了FPR与TPR之间权衡的情况,通俗来说,即在TPR随着FPR递增的情况下,谁增长得更快,快多少的问题。TPR增长得越快,曲线越往上凸,模型的分类性能就越好。
4 z0 I  i; U. Q8 F. l1 @8 g0 p+ v. k  d: i) @
ROC曲线如果为对角线,则可以理解为随机猜测。如果在对角线以下,则其性能比随机猜测还要差。如果ROC曲线真正例率为1,假正例率为0,即曲线为与构成的折线,则此时的分类器是最完美的。+ f) U8 z. r' ]: b9 m  v6 q
6 W" T" c, z% {% W
下图就是ROC曲线的一个示意图:' S1 Q! w/ x. d8 |$ @9 B
11.png
8 N0 f; q* G0 P4 x+ VROC曲线横坐标是FPR(False Positive Rate),纵坐标是TPR(True Positive Rate)2 q7 {/ m" D' ]; L1 s
接下来我们考虑ROC曲线图中的四个点和一条线。
) [- W, n% G; ?7 P( {0 Y2 w& {
+ J# b2 N- `. h+ i: I0 U第一个点,(0,1),即FPR=0, TPR=1,这意味着FN(false negative)=0,并且FP(false
$ \9 M6 Z1 @2 [8 x" fpositive)=0。这是一个完美的分类器,它将所有的样本都正确分类。
" }2 _2 U2 n. `, G第二个点,(1,0),即FPR=1,TPR=0,类似地分析可以发现这是一个最糟糕的分类器,因为它成功避开了所有的正确答案。$ Q/ d( d3 A8 H+ ~5 W
第三个点,(0,0),即FPR=TPR=0,即FP(false positive)=TP(true
4 M7 s( K$ S3 B3 U& U: y1 t% Gpositive)=0,可以发现该分类器预测所有的样本都为负样本(negative)。! Z# K4 [! @% o- `, f0 @
第四个点(1,1),分类器实际上预测所有的样本都为正样本。经过以上的分析,我们可以断言,ROC曲线越接近左上角,该分类器的性能越好。
/ g4 K2 }4 {6 s0 n2 [( l3 n; J如何画ROC曲线:1 ^- M) ]5 H' q% b6 U' S
! @( Y* }7 I; n8 n6 G  Q0 U* u% l' V
对于一个特定的分类器和测试数据集,显然只能得到一组FPR和TPR结果,而要得到一个曲线,我们实际上需要一系列FPR和TPR的值,这又是如何得到的呢?我们先来看一下wikipedia上对ROC曲线的定义:
1 Y: N' b( h9 \4 N. p$ C: Z% z& k5 U4 }" n2 Z' X4 z# l- v
A receiver operating characteristic curve, i.e. ROC curve, is a& r0 W' m3 x" o& o
graphical plot that illustrates the diagnostic ability of a binary8 q7 d) y3 e6 g: L2 d
classifier system as its discrimination threshold is varied.' S* D0 ]7 R9 {, ]
译:ROC曲线是由一系列因区分阈值变化产生的点,用于描述二分类模型的判断能力
% _5 `1 u6 {7 j& L, g5 G这里的关键在于 “its discrimination threshold is varied” ,因为对于一个二分类模型,它的输出结果其实是判断这个样本属于正样本的概率值,假如我们已经得到了所有样本的概率输出(属于正样本的概率),现在的问题是如何改变“discrimination threashold”?我们根据每个测试样本属于正样本的概率值从大到小排序。下图是一个示例,图中共有20个测试样本,“Class”一栏表示每个测试样本真正的标签(p表示正样本,n表示负样本),“Score”表示每个测试样本属于正样本的概率1 z0 g8 @5 d. u
12.png
8 P/ C$ o& v6 \然后我们按照样本的score值,从大到小依次作为阈值,当样本score值大于等于阈值时则判定为正样本,否则为负样本。
+ b' T/ T2 T& W! G; j# q例如第一个阈值取0.9,这时只有id=1的样本被预测为正样本,其余都是负样本,此时TPR=1/1+9=0.1, FPR=0/0+10=0。还例如:对于图中的第4个样本,其“Score”值为0.6,那么样本1,2,3,4都被认为是正样本,因为它们的“Score”值都大于等于0.6,而其他样本则都认为是负样本。, ^# H  J( e! W3 m/ D: u( M
- M6 G0 V& E; A3 |" O
详细如下:
- \! P1 `) F& _5 o% E 13.png
, Z  u/ a/ J! q6 V. M% A. ]由此我们便得到了一组(FPR,TPR)的值,可以绘制出ROC曲线:
1 H. s( }( E! h6 V/ V9 Y$ `  F 14.png ( D- p* ]% y4 c4 l0 l) K2 i
当我们将threshold设置为1和0时,分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来,就得到了ROC曲线。当threshold取值越多,ROC曲线越平滑。
8 R/ Y+ F  c% F2 L, u
( h6 S* O: K4 o! P2 y& i# k, r8 d; `4.2 AUC/ T( c! b# W& C8 D3 n' K
15.png
. {  s. P% T: D& ZAUC(Area Under the Curve)是指ROC曲线下的面积,使用AUC值作为评价标准是因为有时候ROC曲线并不能清晰的说明哪个分类器的效果更好,而AUC作为数值可以直观的评价分类器的好坏,值越大越好。
! m6 a9 {& `- P; ~! C
  ^1 Q0 ?' b$ N6 MAUC是ROC曲线下的面积。. j- i' }9 ]. _/ z& Y: @3 ^
AUC的取值为[0.5-1],0.5对应于对角线的“随机猜测模型”。9 O- \# ^4 H; d: ]4 l" Q- ?
AUC值是一个概率值,当你随机挑选一个正样本以及负样本,当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值,AUC值越大,当前分类算法越有可能将正样本排在负样本前面,从而能够更好地分类。1 ?+ E1 e4 h+ n  e

% N+ n2 z& l" |, w* a7 h$ f! L+ B从AUC判断分类器(预测模型)优劣的标准:( V, _. Z$ g; l! j, i2 i  J7 M7 Q6 Z

9 n! L! Y  B1 A( n; A% E
% x8 p3 Q) r8 U例如一个模型的AUC是0.7,其含义可以理解为:给定一个正样本和一个负样本,在70%的情况下,模型对正样本的打分(概率)高于对负样本的打分。2 N8 T) {8 X1 ~* V2 A: \

- i6 `) G( _6 m* Q三种AUC值示例:
  p& \3 l+ ~* m8 N 16.png
% l9 Z& `0 a/ D7 u5 {简单说:AUC值越大的分类器,正确率越高。
7 {$ |8 k: Q: ^9 y5 t8 |8 m0 A
那么为什么要用AUC作为二分类模型的评价指标呢?为什么不直接通过计算准确率来对模型进行评价呢?
7 _( ^5 p/ d% k/ t* W' Q因为机器学习中的很多模型对于分类问题的预测结果大多是概率,即属于某个类别的概率,如果计算准确率的话,就要把概率转化为类别,这就需要设定一个阈值,概率大于某个阈值的属于一类,概率小于某个阈值的属于另一类,而阈值的设定直接影响了准确率的计算。也就是说AUC越高说明阈值分割所能达到的准确率越高。$ Q6 ]' ^% e5 _8 J, b7 S5 r! n( Y
& |# l+ d3 O# v* x, ?, s- D
小练习:6 k! D# s  j6 ?4 D. U

' S/ o! J. j; G# @8 }6 u; O以下说法正确的是( ABD)。【不定项】
, ?* U, f+ \$ L2 ZA 随着阈值的降低,TPR与FPR都会增大。5 w" q0 v3 j" Q' h0 w3 ~
B TPR与召回率的值是相同的。, w9 M! v1 v% M5 f
C 如果AUC的值非常低,例如,0.1,则该模型效果很差,也很难调优。
: h/ D' Q6 G6 fD 无论是什么分类模型,ROC曲线一定会经过(0, 0)与(1,1)这两个点。
3 a/ K; N( U6 l: L5 C4.3 ROC曲线程序示例) B8 g# \3 [8 C+ w

: R' {! ^% i) k; n0 s% L我们首先来看一个简单的程序示例,借此来说明sklearn库中,ROC曲线的实现细节。
' \1 y. H) K* V" e  W
" R- t0 O# T7 e6 c. u4.3.1 roc_curve函数的参数+ c$ c+ m6 z% Y' f# c
import numpy as np4 H) r0 N+ ~# O4 f' l* Z5 O0 w6 ~
from sklearn.metrics import roc_curve, auc, roc_auc_score' Z1 D6 J2 B6 ^1 T/ u9 S
y = np.array([0, 0, 1, 1])# ]/ s3 _' S) Q9 ~# t
scores = np.array([0.2, 0.4, 0.35, 0.8])1 ?6 i% V/ p8 e7 ?# ^5 y2 Q4 t( P0 ?4 e
# 返回ROC曲线相关值。返回FPR,TPR与阈值。当分值达到阈值时,将样本判定为正类,
9 m' ~% o% e* r3 h; ]# 否则判定为负类。
5 H* T) l) Y6 W9 n' v# y_true:二分类的标签值(真实值)。7 G( H/ u' K# ]8 Z, K' i! ^
# y_score:每个标签(数据)的分值或概率值。当该值达到阈值时,判定为正例,否则判定为负例。
' I) ]& ^" o1 x- B6 C8 I$ W! ^3 S5 u# 在实际模型评估时,该值往往通过决策函数(decision_function)或者概率函数(predict_proba)获得。" U# c* G4 K5 y$ y9 T
# pos_label:指定正例的标签值。' p9 w) c' W- \2 k! G
fpr, tpr, thresholds = roc_curve(y, scores, pos_label=1)
+ |3 X. g  ]4 B7 k. lprint(f"fpr:{fpr}")
* b$ L2 B- Z: O& V% m5 h) `  Dprint(f"tpr:{tpr}")& y9 \6 h/ v& M
print(f"thresholds:{thresholds}")
8 l8 }1 y0 g- w/ S# auc与roc_auc_score函数都可以返回AUC面积值,但是注意,两个函数的参数是不同的。9 F8 O; N8 m* @- L. V- U7 v
print("AUC面积值:", auc(fpr, tpr))
- d* D7 d3 I+ ^0 v4 Sprint("AUC面积得分:", roc_auc_score(y_true=y, y_score=scores))
0 R0 Y+ Z* y6 F) j# Z0 ~9 T#### 3.3.2 roc_curve函数的返回值
9 D$ ~# g; `! d" u# M- q0 F
3 m$ r6 v, Q, J3 m1 x3 I结果:
% |7 c( f% c' N% v9 H, a 17.png 1.8 是怎么来的?. W' Z( D; S' |2 d: |6 o$ p- k
1.8是阈值中最大值+1(0.8+1)得来的。为什么这么算?因为要使得最开始得到的所有阈值都不会超过这个值,才能过(0,0)和(1,1)这两个点。
) t9 v! l, D/ \, m) n+ z! ~' p& \# u- d
4.3.2 roc_curve函数的返回值- p; G) u! b) _* J$ ?3 O! W
. {4 t9 Z: T- C/ m( C
roc_curve函数具有3个返回值:9 k1 E4 F8 q5 C$ Z1 Q6 }* Y4 d

; J5 p% s0 h2 s9 n9 e' g  {" zfpr 对应每个阈值(thresholds)下的fpr值。( Q1 q; m" B0 N/ A5 u
tpr 对应每个阈值(thresholds)下的tpr值。
$ S8 u. P1 O4 x. \& K4 ~1 n* v/ o) u; _thresholds 阈值。
) K% q! ]! y! k8 D* M3 Troc_curve函数会从y_score参数中,选择部分元素作为阈值(选择哪些元素属于实现细节,会根据sklearn版本的不同,也可能会有所差异。),然后进行降序排列,作为roc_curve函数的第3个返回值(thresholds)。同时,根据thresholds中的每个元素(阈值),分别计算fpr与tpr。
- n* p9 J& k) hiris = load_iris()
, u5 N/ r9 w; M7 e$ zX, y = iris.data, iris.target' ?5 [% G9 L# d+ @9 c" m' p4 ^
X = X[y != 0, 2:]
2 E# I! y. O5 I) M, _( Ay = y[y != 0]
2 n7 R: V, K8 `y[y == 1] = 0% c0 p) n& I' |$ e( u0 ?& t
y[y == 2] = 1/ M( r2 u( P6 K* ?  h5 C  ^
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25,
5 |, k* C- y# `$ wrandom_state=2)5 q0 ^! j- b' c, u- Q- X
# lr = LogisticRegression(multi_class="multinomial", solver="lbfgs")& s4 r; R' W% y9 |  W! r' V) V9 c
lr = LogisticRegression(multi_class="ovr", solver="liblinear")1 p7 X+ D, ?' [6 W1 }
lr.fit(X_train, y_train); q8 x0 d7 u- R  V1 C, H' g* U/ ^
# 使用概率来作为每个样本数据的分值。
/ c0 J  j/ s% \probo = lr.predict_proba(X_test)( c% N9 T& P0 t" T8 J5 _
fpr, tpr, thresholds = roc_curve(y_true=y_test, y_score=probo[:, 1],
  R; D  F( p- K, T1 X, D* h' L" Bpos_label=1)
1 z' F. ^8 _7 ]- |1 G* h, P) @display(probo[:, 1])) \$ `- J/ g) R. o
# 从概率中,选择若干元素作为阈值,每个阈值下,都可以确定一个tpr与fpr,
: G7 N! _$ u; b# ^! {& y# 每个tpr与fpr对应ROC曲线上的一个点,将这些点进行连接,就可以绘制ROC曲线。
& v9 [8 K( d! s( r1 P/ Mdisplay(thresholds)
6 _, Y5 T( o0 x
6 b5 c, u8 }6 t/ R) ~: p" u结果:; M  a% n8 a  ^
18.png
5 L; X! H$ f: S0 T
8 ]  }" l$ C7 P0 S& w8 d1 r4 P" l# P
# 随着阈值的不断降低,fpr与tpr都在不断的增大。1 B" i3 _* Y$ b
fpr, tpr# z) t8 A5 a3 z/ f5 M# f
3 ]+ O) m$ W. X! Y% S$ H
结果:
9 n/ @; o" B) X% ?6 |3 Q: i" [  J' g 19.png
; p' d' S* Z* _* N( n0 c& N/ H9 ^7 u7 X1 ^4 U
4.3.3 绘制ROC曲线, o/ }8 u( b2 K/ M5 P
有了fpr与tpr的值,绘制ROC曲线是非常容易的,只不过是最简单的一个plot而已。
: Y& @+ R- k7 r6 y9 W& Oplt.figure(figsize=(10, 6))4 s8 n8 g1 {7 `0 [2 k# k+ y: h. Y
plt.plot(fpr, tpr, marker="o", label="ROC曲线")
" p2 }+ ?2 u$ s- ~: l# P- W. Splt.plot([0,1], [0,1], lw=2, ls="--", label="随机猜测")- n! A6 Q! q+ K, ~
plt.plot([0, 0, 1], [0, 1, 1], lw=2, ls="-.", label="完美预测")
2 ^! u! U% z' |plt.xlim(-0.01, 1.02)& g% W# H2 g# G6 r  k$ O; n
plt.ylim(-0.01, 1.02)
- }) v* q( F8 \8 n# Pplt.xticks(np.arange(0, 1.1, 0.1))
. i1 r( @3 [: z5 X: G$ zplt.yticks(np.arange(0, 1.1, 0.1))
" K: W3 ?& J( o( T! _- t0 nplt.xlabel("False Positive Rate(FPR)")
9 u; |/ {! Z  Tplt.ylabel("True Positive Rate(TPR)")' w4 x  ?& ~+ l( X5 p  N) f
plt.grid()
5 y( i1 X; I) |+ a$ v" A8 ]# A9 M+ pplt.title(f"ROC曲线-AUC值为{auc(fpr, tpr):.2f}")6 c: r; j$ S# ]2 i2 q- F. K5 w
plt.legend()
% q! D% k9 `0 K9 w2 n; Z5 lplt.show()
7 j3 E- |1 i. D8 T% r4 _ 20.png $ ~+ S' `2 I3 }4 I, z  E

, u8 ?( E) s. {! c) E5、总结2 D2 b/ r+ n7 c) @' s; M" d; H0 ]
0 M( G6 B; S5 F. s' {9 q1 g
混淆矩阵的含义。* f% h. p4 Y0 v* w+ ^
正确率,精准率,召回率与调和平均值F1的含义。. B7 H$ U/ r/ @& ?9 a
ROC与AUC。
1 G3 P0 K; |- I) J- b7 Q5 I& j
参考资料:; B* d. }0 R: O0 b* l& O0 O* V0 N
1、https://blog.csdn.net/zuolixiangfisher/article/details/81328297
- N% t# d: `' z+ P) }5 ?2、https://www.jianshu.com/p/2feb00839154
6 p3 A7 B% {( d( B$ ?3、https://www.cnblogs.com/kamekin/p/9788730.html
9 K- x* l& X5 s4、https://www.jianshu.com/p/c61ae11cc5f6; i. H" ?- I) @4 d8 @
————————————————; R+ T, y. H& V* z8 |
版权声明:本文为CSDN博主「糖潮丽子~辣丽」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。" N7 \9 h( w, \! f! k* R/ [  z
原文链接:https://blog.csdn.net/qq_39783601/article/details/105600700; h- x8 e" f8 p; J

4 V0 m, p- \4 o. x  I7 m2 x* i, N* b/ O4 x) V5 u

作者: 1336671542    时间: 2020-4-19 12:50
非常感谢!!!!!!!!!!
! n. o4 z8 U, s




欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5