在线时间 1630 小时 最后登录 2024-1-29 注册时间 2017-5-16 听众数 82 收听数 1 能力 120 分 体力 565565 点 威望 12 点 阅读权限 255 积分 174892 相册 1 日志 0 记录 0 帖子 5313 主题 5273 精华 3 分享 0 好友 163
TA的每日心情 开心 2021-8-11 17:59
签到天数: 17 天
[LV.4]偶尔看看III
网络挑战赛参赛者
网络挑战赛参赛者
自我介绍 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
群组 : 2018美赛大象算法课程
群组 : 2018美赛护航培训课程
群组 : 2019年 数学中国站长建
群组 : 2019年数据分析师课程
群组 : 2018年大象老师国赛优
* |# g9 s' |1 K4 E
详细讲解分类模型评估 分类模型评估
- [4 E+ |! X) e* m 0 R3 a7 R; U% x; D* N' C3 J
1、分类模型+ I' g" [9 Z1 c
主题:如何对分类模型进行评估
; k( Z1 ~5 M" ?# l5 B4 U: z- R1 a 目标:+ N. E; i$ s' }
2、混淆矩阵
8 |" f. w5 x( T) r; b 3、评估指标* y5 W8 v( G i, M0 O
3.1 正确率
- E& ^% p5 s9 H$ V7 I3 D" Z0 U 3.2 精准率. D* @) ^- g, f4 C. T
3.3 召回率
2 \+ j, O6 H, L( O 3.4 调和平均值F1' e4 r7 \# P* W" ^. k' U7 a0 i u h
4、ROC和AUC8 ]& F- q1 @0 W6 l- {
4.1 ROC曲线
( ?/ D/ V6 g/ B1 \# b# Q& v2 X% s 如何画ROC曲线:2 Q! u0 Q1 m% j- w. F7 P. {# H
4.2 AUC
" r5 g1 I/ L/ N g, m8 l 4.3 ROC曲线程序示例
5 i! s: a% Q4 H! r 4.3.1 roc_curve函数的参数
. [. c9 c; l6 J* ^ 4.3.2 roc_curve函数的返回值
& ?* P: _: o- U 4.3.3 绘制ROC曲线
' K7 L: O0 p# x: ^8 E) p8 o 5、总结
, N; u- C2 R/ `1 M9 {3 t/ {+ }- D$ I 1、分类模型' J8 E; ~4 S+ U1 x6 v: }
: X; X X8 N+ \2 Y8 t
分类问题在我们日常生活中处处可见,比如我们对帅哥的分类,可能对帅哥分为非常帅和一般帅。比如我们平时刷淘宝,淘宝根据我们平时的喜好给我们推送产品,那我们就会把产品分为感兴趣和不感兴趣两类。3 G( z- K S. B! n5 |
上述所说的问题就是典型的分类问题,确切的说其实就是二分类问题。
" S6 T w q8 c/ {5 c# X 能够解决这些二分类问题的数学模型就被称为二分类模型。
" L+ H+ g( _: o, b |# q0 T3 x 用数学的方式表达就是,给定自变量X,代入到我们的分类模型F,会输出因变量y,y的取值为0或1,其中0代表负样本(一般帅的帅哥、不感兴趣的推送),1代表正样本(非常帅气的帅哥、感兴趣的推送)。# d" Z$ J7 j! q# n( `" c
3 ^; b6 G3 X) k/ o2 B
主题:如何对分类模型进行评估
5 r& o8 K( D5 F: D( D" |- d4 v) B
0 {5 m4 W& t }& } 目标:
0 }8 m L) O/ L, g; I, U- @$ J( l; k: W ! [" [2 G6 [7 _5 C; L
能够熟知混淆矩阵的含义。
7 i' z* f! Z3 l" e 能够使用各种指标对分类模型进行评估。% l" N J4 ]7 D- g1 ~5 o
能够独立绘制ROC曲线,并熟悉该曲线细节。& n6 w! M% `2 m5 @0 a s ^( M" C
能够对样本不均衡进行处理(扩展内容)。
. A) n/ ~; s5 n2 Y 2、混淆矩阵* E/ _# k3 N) I# I/ q
; W2 O( h; G+ p0 X4 c7 v+ S 混淆矩阵,可以用来评估模型分类的正确性。4 j, Q4 h+ N0 e! s! c& ?5 l
该矩阵是一个方阵,矩阵的数值用来表示分类器预测的结果,包括真正例(True Positive),假正例(False Positive),真负例(True Negative),假负例(False Negative)。
2 c' V7 v* n1 b, K5 y' [" S
! s6 K5 S% J; I- h6 P% ^. f 矩阵的形状是2 x 2,其中, - 矩阵的左上角表示,预测值为1,实际值为1(True Positive,简称TP); - 右上角表示预测值为1,实际值为0(False Positive,简称FP); - 左下角表示预测值为0,实际值为1(False Negative,简称FN); - 右下角表示预测值为0,实际值为0(True Negative,简称TN);
- |5 e- E& r7 b( ~, t! i+ X. e! n" b 8 R. f- |4 j5 m; t- N
真负例(TN)+ 假正例(FP)——每个类别真实存在的负例的数量
$ X% O; k$ m# ?! U9 g8 N' b 假负例(FN)+ 真正例(TP)——每个类别真实存在的正例的数量# e. | R. O N8 [5 I k7 e
真负例(TN)+ 假负例(FN)——每个类别预测的真负例数量* d& S8 F9 ^& s3 ]7 l7 C0 [, p
假正例(FP)+ 真正例(TP)——每个类别预测的真正例数量8 {& \; Q: m! Z2 a# ? w+ }1 ?
其中:7 Q# ]" F" T; m. H
5 S B) A9 b& f* |
TP:真正例,实际为正预测为正;# t6 T/ k4 o0 K g/ C( }3 ]
FP:假正例,实际为负但预测为正;; k3 J6 m0 z% D# z/ o# `
FN:假反例,实际为正但预测为负;) t: B& D1 I0 f- l1 v* }! U q! \: i
TN:真反例,实际为负预测为负# n7 Y: A" P$ _* L+ ]0 L+ C
接下来,我们通过数据来看下鸢尾花的混淆矩阵:
8 X8 ]$ O/ t* y. X, Q/ Q& V* I! i import numpy as np
% n- L5 q T$ h3 ~: F from sklearn.datasets import load_iris
# Z1 D$ Q6 B& h4 B' E1 n; g from sklearn.linear_model import LogisticRegression
* X' L4 v0 B- | from sklearn.model_selection import train_test_split6 s l5 F( F/ J! Y
# 混淆矩阵
5 Y9 ?; ~, w" p" c0 d from sklearn.metrics import confusion_matrix, o7 _' o( z4 D" D" x
import matplotlib.pyplot as plt0 B# X; e* n9 N& A
import warnings
g# t O% n! \3 m* A, Y q( M : s: ^4 d$ W h0 H+ w
plt.rcParams["font.family"] = "SimHei"
% R' p6 L0 f" C2 Q2 _, Z$ p plt.rcParams["axes.unicode_minus"] = False
2 I, }" Y# z7 Q plt.rcParams["font.size"] = 12
1 g( Z, _9 E# X+ P$ D0 ~ warnings.filterwarnings("ignore")& d9 i0 z! D( a; q2 q1 U5 F# P g
2 x# z% E# l. N- h iris = load_iris() #导入鸢尾花数据集
' A% j0 u) P6 I' T X, y = iris.data, iris.target, O7 l* h9 N! \8 f8 S0 q# l M9 [
X = X[y != 0, 2:]6 D1 n! Y4 Z: \8 M3 w" b6 M% s
y = y[y != 0]8 k+ n' l: G! T b- N
y[y == 1] = 0
8 c: ~$ ?0 |7 h6 e- J( d y[y == 2] = 1
9 }8 Q) p6 C. [! C: s; P& k X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=2)
) f6 N7 i* }5 V/ v lr = LogisticRegression() #使用逻辑回归
3 v" g8 ]* l5 l% r: H! t2 ~* c lr.fit(X_train, y_train)
, r4 C- L' X7 o y_hat = lr.predict(X_test)+ m- {8 T O- C0 L; J [
# 根据传入的真实值与预测值,创建混淆矩阵。+ o' x% {9 M) f1 Q) y4 X m; a
matrix = confusion_matrix(y_true=y_test, y_pred=y_hat)
% z4 e& Z, [+ u" C) x3 m/ L print(matrix), Z& X) K: U# \; G* h/ ~; ~
7 w6 y& `7 _5 j1 A
: F, X' H8 O$ k) S 输出结果:0 s& U9 A( r2 g
# R" A) x5 ?. m 我们还可以对其进行可视化操作:
0 \+ G1 m! A3 v: f mat = plt.matshow(matrix, cmap=plt.cm.Blues, alpha=0.5) #cmap 指定颜色图色系,alpha透明度
( c) L2 v) i. Z% G$ o label = ["负例", "正例"]
& k6 k5 q& ?- k& F6 k9 z( o ax = plt.gca()
+ s/ W- G8 V3 q/ Y ax.set(xticks=np.arange(matrix.shape[1]), yticks=np.arange(matrix.shape[0]),
) J: F6 D7 p# i( B xticklabels=label, yticklabels=label, title="混淆矩阵可视化\n",- _% z0 I" A" C, V
ylabel="真实值", xlabel="预测值")
' \* F# H* T) |9 z$ `. ] for i in range(matrix.shape[0]):
; Z# s3 K% U. C' z( _. D for j in range(matrix.shape[1]):
/ M, J2 g2 W, s/ h2 J plt.text(x=j, y=i, s=matrix[i, j], va="center", ha="center")
: m8 }3 S" y; s* C8 P a, b = ax.get_ylim()- @' r4 I$ m9 z6 _( @
ax.set_ylim(a + 0.5, b - 0.5)1 o* v' U# o% ~, K& d/ Y# G# }
plt.show()3 } l+ D& X; Q: l# n9 O3 ^; q! R
% X8 z- Z" d' R2 L. s* l( C
0 p9 K8 r1 \$ M: o: o
代码解析:8 D t' C! G3 M$ y
matshow( ) 绘制矩阵,alpha 透明度0 M7 j8 O# W& f3 Y
结果:: t5 A: s0 X9 u% G2 f
' Z) E! y- T# g0 ]) P. c6 J4 R+ Y 练习:
* l& I/ H* e$ _# w ' d: s( c* z* ]9 p8 V! x
关于混淆矩阵,说法正确的是( ABCD)。【不定项】
1 U! n+ G0 {$ |/ W A 混淆矩阵可以用来评估分类模型。
* X5 }( O! A! U' T% n B 混淆矩阵中,TP与TN的数值越大,则分类的效果越好。& G9 _& ]7 `7 i c6 N! h
C 混淆矩阵一行元素的和代表某个类别的实际数量。1 ~' x& X: S. n7 z/ a
D 混淆矩阵一列元素的和代表某个类别的预测数量。
2 Q5 y n3 }- @* B3 ~9 } 3、评估指标; V9 n1 l8 G9 u
" R3 @4 B/ ^7 u$ I6 W9 s) p
对于分类模型,我们可以提取如下的评估指标:" \3 e5 j {9 O
q. s3 W) K2 c2 v& v8 C9 G- g/ d 正确率(accuracy)- f2 [; |0 z% s9 W" y
精准率(precision)4 A N7 Z' w1 f0 O; z+ K
召回率(recall)4 a5 o( r0 b$ \+ ]% _: M
F1(调和平均值)
3 X; r+ R- k( g# R7 z- L 3.1 正确率
0 G3 W9 F' X" s* x& j6 `& m
, c6 J' @7 s$ W8 m 正确率(准确率)定义如下:4 `% T) ~) G7 m' v0 V
衡量所有样本被分类准确的比例。
5 s8 y- T r$ ^; V9 Z Accuracy = (TP+TN) / (TP+FP+TN+FN)
6 s) ]# P1 W) R8 O
: d# F/ G* G s Y 预测正确的数量除以总数量。
9 g$ ?: ]; Z3 D+ G ! w( i1 U' y& E( ]9 ]5 `. x
3.2 精准率5 \2 r8 ]/ \: ~, }+ v3 L0 @
8 m1 I4 t; S* g# I) r6 H
查准率(精准率)定义如下:
9 S1 B- i8 j+ s7 S( c- O, m5 b* G7 m 衡量正样本的分类准确率,就是说被预测为正样本的样本有多少是真的正样本。
8 }, n9 i$ v: q6 G! C1 h, ^ Precision = TP / (TP+FP)+ I3 \8 U& v/ c" l- L
8 v. c3 }" z+ U# c L# U: p
精准率只考虑正例。% @, ~( k4 ^# I1 R
- |% w2 z Y" Z" V0 Z$ i/ Z. } 3.3 召回率! p. f2 J% j8 M
$ x& ]+ M. i( L# L) x
查全率(召回率)定义如下:
k5 E3 }$ t7 X8 b/ Q: K 表示分类正确的正样本占总的正样本的比例。
0 ~- |: S9 }; h2 j6 [( p3 q Recall = TP / (TP+FN)
! v1 d% x% J9 J* G2 k, A ! u1 J: K: a; S w8 R
. O; i) Y5 i) `* N: L3 I) o 3.4 调和平均值F14 C w! ^) u* K K9 i, P2 B: F
( o. F4 G) a5 b F值(F1-scores)调和平均值F1定义如下:
$ l' K: d; [5 C- w1 { 精确率和召回率的调和平均。) s \2 y- A, y9 S* p
精准率Precision和召回率Recall加权调和平均数,并假设两者一样重要。. G% J0 H$ [( N \- A
3 h9 K% _5 q7 ^ F1-score = (2Recall*Precision) / (Recall + Precision): H0 h8 p/ ]8 c, h3 [) _
! w. Z, w+ a6 n1 Z' W0 P
精准率和召回率是一对矛盾的度量。一般来说,精准率高时,召回率往往偏低;而召回率高时,精准率往往偏低。通常只有在一些简单任务中,才可能使二者都很高。
' f7 Q$ Y! p/ R, |8 `7 M* ` 最好的分类器当然是准确率、精确率,召回率都为1,但实际场景中几乎是不可能的,而且精确率和召回率往往会相互影响,一个高了另一个会有所下降,因此在实际应用中要根据具体需求做适当平衡。
6 D6 x: d: t; V$ e3 t 让我们做个练习加深下印象吧!5 k9 z2 s! u9 F( }% Q7 o, v; w. q0 g
3 X2 c7 m# l* u# h5 {
以下说法正确的是( C )。: e5 V3 L; ^* r8 i
A 使用正确率去评估一个分类模型,效果会比精准率更好。+ t& H# ^/ w: Q: j. f
B 使用精准率去评估一个分类模型,效果会比召回率更好。
" Q6 {) [' B1 |3 w* P: Y- A$ P8 d C 精准率与召回率通常要联合使用。/ G5 d. e3 _: W0 r1 S8 c6 J1 J
D 精准率与召回率如果有一个值较低,F1值也可能会较高。2 d k# Q& _9 C- W7 p
如果精准率和召回率我们只能选择重视一个,我们会更看重( C )。
0 i1 i' ]# a! u$ k A 精准率。( N1 l$ n; I! u( |! u' s; v
B 召回率。& q) A) k( u. I3 O6 [/ p
C 具体场景不同,重视谁也会不同。
5 B, u4 a$ @9 f5 k6 {4 z% B( { 接下来我们通过程序来说明下:3 J) z- H, |+ U( B
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score' t; C' X- s& H9 l
' {# s8 K, z4 E# Z
print("正确率:", accuracy_score(y_test, y_hat))
9 p% R9 j R' S) q* [ z2 A # 默认将1类别视为正例,可以通过pos_label参数指定。 r ~- O& y) M: p2 R5 E$ ^
print("精准率:", precision_score(y_test, y_hat))
" ]& Y- w- }+ N, O print("召回率:", recall_score(y_test, y_hat)) q1 V5 f& M( h1 r
print("F1调和平均值:", f1_score(y_test, y_hat))& u7 A J) C+ X4 l' ?0 e
# 我们也可以调用逻辑回归模型对象的score方法,也能获取正确率。1 H$ L9 J) B4 t5 j, O' F
# 但是需要注意,score方法与f1_score函数的参数是不同的。
; [: |& D" J9 S7 z( U( R+ K6 j print("score方法计算正确率:", lr.score(X_test, y_test))0 r# T4 }. s" D* g# F
8 i- A: C- ?: _& e# z6 k
: e" C1 s# l% f- ` l3 Y/ p 结果:
9 p! ~0 `9 P8 {' u% b: ^2 @, m. l
' T. P0 c, F, L4 ~! S) ?1 E
除此之外,我们也可以使用classification_report函数来查看模型的分类统计信息,该方法会返回字符串类型,给出相关的分类指标评估值。% L0 y/ J4 ?% \# K# k, o
from sklearn.metrics import classification_report
T7 O ]$ @6 G( \" ]1 g # J* I. l8 Y8 ?$ [7 | i( P. ~: s, q
print(classification_report(y_true=y_test, y_pred=y_hat))# Y% n3 g9 N/ g- Y* ?
( M$ T l' c9 a! t% j % r( \& t3 ^, L( a
结果:
: ?' n# r2 m/ A8 a# H* `- t. f
Q! y4 |7 \8 N* s/ d( `! K
, @: a) Y* d, m# R5 _8 c$ t 练习:% |, L2 |" p& W: V8 l# ]
) m4 J9 D( h. @' E 如果使用精准率与召回率评估二分类模型时,我们应该将哪个类别设置为正例? (B), b( r& q8 s" h0 c
A 随意
0 n5 l. w( K! D( f( v% f+ b0 \ \ B 关注的类别4 D6 }0 U" P. s9 E
C 不关注的类别% s3 x: x, l3 f! \; s; R; a
4、ROC和AUC
# g/ y! V. h0 j5 j/ u. I" e
# J/ ?) i& O2 J2 C$ K6 z ROC(Receiver Operating Characteristic)曲线和AUC常被用来评价一个二值分类器(binary classifier)的优劣。- H8 o1 |. w9 e) g+ T k, H
4 U/ O$ F- m% F4 g7 D$ D4 D
4.1 ROC曲线$ g5 _% Y8 g$ ^" A
q; _: {' d. Z+ m# q9 F7 K ROC曲线(Receiver Operating Characteristic——受试者工作特征曲线),使用图形来描述二分类系统的性能表现。图形的纵轴为真正例率(TPR——True Positive Rate),横轴为假正例率(FPR——False Positive Rate)。其中,真正例率与假正例率定义为:% m1 l r C! X& _, N
( P) ]9 d% [5 v6 `- w* M6 m ROC曲线通过真正例率(TPR)与假正例率(FPR)两项指标,可以用来评估分类模型的性能。真正例率与假正例率可以通过移动分类模型的阈值而进行计算。随着阈值的改变,真正例率与假负例率也会随之发生改变,进而就可以在ROC曲线坐标上,形成多个点。9 q) V# m# R! b
6 w& X8 k4 K# d# a* ^' ~
ROC曲线反映了FPR与TPR之间权衡的情况,通俗来说,即在TPR随着FPR递增的情况下,谁增长得更快,快多少的问题。TPR增长得越快,曲线越往上凸,模型的分类性能就越好。4 ~, \( ^, A, Q% O$ p7 `0 s
/ w. ~5 w, k4 |+ [# k ROC曲线如果为对角线,则可以理解为随机猜测。如果在对角线以下,则其性能比随机猜测还要差。如果ROC曲线真正例率为1,假正例率为0,即曲线为与构成的折线,则此时的分类器是最完美的。; |8 c8 Y4 ]: V9 t
$ y; I( e3 w/ g) t0 g 下图就是ROC曲线的一个示意图:
) v6 m3 {8 C% X* a) {
# u# K4 x/ ` L
ROC曲线横坐标是FPR(False Positive Rate),纵坐标是TPR(True Positive Rate)1 j b3 [& a- G1 a5 \6 n
接下来我们考虑ROC曲线图中的四个点和一条线。
# X1 L6 |5 x3 f* f4 i
8 |, b! f+ q$ q 第一个点,(0,1),即FPR=0, TPR=1,这意味着FN(false negative)=0,并且FP(false
, R1 B! O( Y2 \. v: Q4 Q positive)=0。这是一个完美的分类器,它将所有的样本都正确分类。
" f, M% S, ?- d: `' ^) [' } 第二个点,(1,0),即FPR=1,TPR=0,类似地分析可以发现这是一个最糟糕的分类器,因为它成功避开了所有的正确答案。" b8 k% w% a1 S8 M4 K5 M$ Y7 A
第三个点,(0,0),即FPR=TPR=0,即FP(false positive)=TP(true* j6 K% U. L/ a' ?# l; O- l# l+ A2 j: F
positive)=0,可以发现该分类器预测所有的样本都为负样本(negative)。
) V5 V( T$ B9 m, c2 J* ` 第四个点(1,1),分类器实际上预测所有的样本都为正样本。经过以上的分析,我们可以断言,ROC曲线越接近左上角,该分类器的性能越好。; C& k: T, L* ]/ E6 s* ~- Z. u
如何画ROC曲线:4 w7 I" r( H1 \8 K+ R1 x
4 E$ y# s# S* v 对于一个特定的分类器和测试数据集,显然只能得到一组FPR和TPR结果,而要得到一个曲线,我们实际上需要一系列FPR和TPR的值,这又是如何得到的呢?我们先来看一下wikipedia上对ROC曲线的定义:+ Z3 p6 f. K" g* n. W
6 S1 R- R9 k, `' b; F& \
A receiver operating characteristic curve, i.e. ROC curve, is a
5 p0 F/ A* U8 s7 n) B& { graphical plot that illustrates the diagnostic ability of a binary) p; a' m% q. ^2 K( O
classifier system as its discrimination threshold is varied.. D& q4 i( S2 z" K& B
译:ROC曲线是由一系列因区分阈值变化产生的点,用于描述二分类模型的判断能力7 C/ J$ R# r7 h& c: u G/ {
这里的关键在于 “its discrimination threshold is varied” ,因为对于一个二分类模型,它的输出结果其实是判断这个样本属于正样本的概率值,假如我们已经得到了所有样本的概率输出(属于正样本的概率),现在的问题是如何改变“discrimination threashold”?我们根据每个测试样本属于正样本的概率值从大到小排序。下图是一个示例,图中共有20个测试样本,“Class”一栏表示每个测试样本真正的标签(p表示正样本,n表示负样本),“Score”表示每个测试样本属于正样本的概率
2 ~* D& Z# Z6 O
( ^( Z3 X) g+ _$ ]. v; i 然后我们按照样本的score值,从大到小依次作为阈值,当样本score值大于等于阈值时则判定为正样本,否则为负样本。* `# x/ p7 U: t( o
例如第一个阈值取0.9,这时只有id=1的样本被预测为正样本,其余都是负样本,此时TPR=1/1+9=0.1, FPR=0/0+10=0。还例如:对于图中的第4个样本,其“Score”值为0.6,那么样本1,2,3,4都被认为是正样本,因为它们的“Score”值都大于等于0.6,而其他样本则都认为是负样本。
) D* J. r% k. H6 i2 y( m
7 W. S) V o9 F! B' j ]+ T: Z: L! E 详细如下:6 i) q: u: n5 \2 n
+ v* F7 g3 R4 q5 o 由此我们便得到了一组(FPR,TPR)的值,可以绘制出ROC曲线:
4 m. e* n( R$ a6 `' T
. k$ E, f, _5 S7 R1 j. q# @
当我们将threshold设置为1和0时,分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来,就得到了ROC曲线。当threshold取值越多,ROC曲线越平滑。) Y$ G7 ]5 K2 w; Y0 Z0 n' [
% a+ B+ [% |' R- j/ \5 u 4.2 AUC" \) v. E9 V+ t6 o9 f
: T M, @5 T& Y0 Y5 d2 j
AUC(Area Under the Curve)是指ROC曲线下的面积,使用AUC值作为评价标准是因为有时候ROC曲线并不能清晰的说明哪个分类器的效果更好,而AUC作为数值可以直观的评价分类器的好坏,值越大越好。
+ e3 Q1 R6 Q, B, m' ^ }2 c5 z @/ D" P: B* H7 N
AUC是ROC曲线下的面积。0 t3 Z+ T' b. a/ Y
AUC的取值为[0.5-1],0.5对应于对角线的“随机猜测模型”。
+ e2 X% J/ E1 T! R AUC值是一个概率值,当你随机挑选一个正样本以及负样本,当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值,AUC值越大,当前分类算法越有可能将正样本排在负样本前面,从而能够更好地分类。' H& K# Y D t5 b _' U
7 T+ }/ q; ^# m, E$ `6 q 从AUC判断分类器(预测模型)优劣的标准:) v# p& L: X' W* x
% k/ B2 s( N( q/ ?: G0 Q
3 h6 f# Z! B% E; H7 y& w
例如一个模型的AUC是0.7,其含义可以理解为:给定一个正样本和一个负样本,在70%的情况下,模型对正样本的打分(概率)高于对负样本的打分。
* q( r3 q: [+ @$ n. |( z. ` 2 e8 v5 c/ E" w( V$ A. i+ s
三种AUC值示例:
# a0 R7 W4 s) j+ U8 {1 v
4 r' \' a! F) R: ~2 X
简单说:AUC值越大的分类器,正确率越高。
% F" O1 y- T" E4 `3 M! A O4 l2 Q$ o6 [( T8 v2 |: P
那么为什么要用AUC作为二分类模型的评价指标呢?为什么不直接通过计算准确率来对模型进行评价呢?
, P7 q. j- F O" l: ?2 Z: |5 P' Q 因为机器学习中的很多模型对于分类问题的预测结果大多是概率,即属于某个类别的概率,如果计算准确率的话,就要把概率转化为类别,这就需要设定一个阈值,概率大于某个阈值的属于一类,概率小于某个阈值的属于另一类,而阈值的设定直接影响了准确率的计算。也就是说AUC越高说明阈值分割所能达到的准确率越高。
0 Z! C; Z9 H# }' q3 p : O# b6 ]. N* d( n
小练习:7 t6 u9 F- ?1 m {9 Z: w* `
& A3 x" |& J e1 e- R 以下说法正确的是( ABD)。【不定项】
7 G( f ]$ f! ~- i6 p F4 F A 随着阈值的降低,TPR与FPR都会增大。
7 d' S2 G# x4 G2 V, t9 m B TPR与召回率的值是相同的。
. g/ S2 S# c% n; p1 h1 e2 a/ \ C 如果AUC的值非常低,例如,0.1,则该模型效果很差,也很难调优。
: x* y$ ^; o4 ] D 无论是什么分类模型,ROC曲线一定会经过(0, 0)与(1,1)这两个点。
4 m$ Y9 I8 D" |/ ` 4.3 ROC曲线程序示例
. X2 ]& A( K) `2 D6 d! ?7 J5 r $ |# l2 O& c+ D" E: D
我们首先来看一个简单的程序示例,借此来说明sklearn库中,ROC曲线的实现细节。
6 A8 _( \! v Z0 ~5 V
0 ^- b% m( y8 @# _/ }" N; i 4.3.1 roc_curve函数的参数- o" y; u' |4 Z5 i" z
import numpy as np! W' Y6 C( X" V) s
from sklearn.metrics import roc_curve, auc, roc_auc_score
- R' ^& b" d7 T2 v5 m* V y = np.array([0, 0, 1, 1])
) w2 w Y8 @7 N, j" j C: `6 p scores = np.array([0.2, 0.4, 0.35, 0.8])6 o) M* L7 A0 C
# 返回ROC曲线相关值。返回FPR,TPR与阈值。当分值达到阈值时,将样本判定为正类,
2 O, b% ?& e2 U5 w8 } j5 O; X # 否则判定为负类。& M, ]( F6 [+ {/ e
# y_true:二分类的标签值(真实值)。
, z) @7 t0 h, g, z # y_score:每个标签(数据)的分值或概率值。当该值达到阈值时,判定为正例,否则判定为负例。+ n% d4 l+ n# B5 _
# 在实际模型评估时,该值往往通过决策函数(decision_function)或者概率函数(predict_proba)获得。
( a7 S) b2 b7 r* _) H # pos_label:指定正例的标签值。
G$ x3 r( k" \# K fpr, tpr, thresholds = roc_curve(y, scores, pos_label=1)+ f% u# {5 [. |6 V2 [7 O8 _1 i" L
print(f"fpr:{fpr}")
r0 z4 Z7 K# n4 H5 i; Z1 u$ f3 v @ print(f"tpr:{tpr}")
( t% {3 P( _0 k5 J Z, M) F( O print(f"thresholds:{thresholds}")
$ c4 ]. v# ?9 i" T3 d # auc与roc_auc_score函数都可以返回AUC面积值,但是注意,两个函数的参数是不同的。6 F9 A2 W5 {2 p: ~
print("AUC面积值:", auc(fpr, tpr))2 N, {% h; N. c/ q. }" [
print("AUC面积得分:", roc_auc_score(y_true=y, y_score=scores))
. U$ g7 L9 W0 O3 a7 O! } #### 3.3.2 roc_curve函数的返回值5 t2 |' b) P" F( l' l1 x
) I+ y! P2 |" L) K
结果:
r1 X& V: {- r9 s1 O
1.8 是怎么来的?
9 x6 C# O- @% _2 U! A! [- `: [ 1.8是阈值中最大值+1(0.8+1)得来的。为什么这么算?因为要使得最开始得到的所有阈值都不会超过这个值,才能过(0,0)和(1,1)这两个点。
" A( R' e* N# L 7 I! Q" C/ I9 e
4.3.2 roc_curve函数的返回值
. o3 T# l. r3 f. M: z1 w3 L% C# X8 C 0 h8 @) t' h- |) h! \
roc_curve函数具有3个返回值:; g$ {% n; l( @; i" P
( I7 P, X6 D; k, D; {
fpr 对应每个阈值(thresholds)下的fpr值。9 u: q$ N4 R# W4 P
tpr 对应每个阈值(thresholds)下的tpr值。
- E: m. j! j" q+ V( ^ thresholds 阈值。' Q* F4 _7 ^" E# g
roc_curve函数会从y_score参数中,选择部分元素作为阈值(选择哪些元素属于实现细节,会根据sklearn版本的不同,也可能会有所差异。),然后进行降序排列,作为roc_curve函数的第3个返回值(thresholds)。同时,根据thresholds中的每个元素(阈值),分别计算fpr与tpr。
8 v; @* t; C9 ]& v& p iris = load_iris()& u$ h5 ~5 U5 A% P: _% F7 X. c
X, y = iris.data, iris.target
8 }' |* F7 L/ {9 W8 ] X = X[y != 0, 2:]( \8 p* H4 o, R0 c9 x- j
y = y[y != 0]0 m) H9 k7 X3 [+ l$ Z/ l
y[y == 1] = 0
9 N: b; a P; n7 z S% h! ~1 y% x y[y == 2] = 1
8 {: n" z- Y2 ~( ^6 ? X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25,
8 I! ~: `3 v# M E- \ random_state=2)
0 x! `4 b0 j& U7 Z0 B # lr = LogisticRegression(multi_class="multinomial", solver="lbfgs"): a- e2 t% W+ ^/ [% ^9 D
lr = LogisticRegression(multi_class="ovr", solver="liblinear")
1 ^ c4 B# V1 e7 Q* D, R lr.fit(X_train, y_train)
1 U0 J& W3 ]4 M- m- d # 使用概率来作为每个样本数据的分值。& `6 b- ?; `# J" D: H
probo = lr.predict_proba(X_test)- Y9 x! H" B: x+ Y
fpr, tpr, thresholds = roc_curve(y_true=y_test, y_score=probo[:, 1],
) c- t0 i6 D3 I pos_label=1). g9 A! y6 Z, P% ^ ]$ ?$ y
display(probo[:, 1])! r$ F' }6 z) o$ b
# 从概率中,选择若干元素作为阈值,每个阈值下,都可以确定一个tpr与fpr,. Y7 o# b, E# x3 P
# 每个tpr与fpr对应ROC曲线上的一个点,将这些点进行连接,就可以绘制ROC曲线。
& W6 M5 \9 W) D; ?- @& Z display(thresholds)
+ u3 F9 I A# ?/ u; Q, C8 ]
7 s' J6 a/ j+ `3 E: T5 @ d/ \8 i. p0 D 结果:- D% q' N( @! i. W; D
% x& |5 N* s: [% P* G* f3 h$ G ' |. \( \6 n# X- a9 d9 |
' m0 ]7 d: a8 v* I" |! c n1 T # 随着阈值的不断降低,fpr与tpr都在不断的增大。5 x3 @7 Y N, k/ b
fpr, tpr, o Y9 h& ~5 C; c
/ M3 R8 [3 H% ^- Z. H
结果:
+ R" d* S% t+ G& d2 R
. R2 h. i1 h: Y8 o/ S+ I, P
V0 j; q6 q6 H8 w
4.3.3 绘制ROC曲线( Z/ H8 x( @, v" k6 C; a- ~
有了fpr与tpr的值,绘制ROC曲线是非常容易的,只不过是最简单的一个plot而已。, R. ^1 ?! C6 `& ^
plt.figure(figsize=(10, 6))
M% s0 z: X3 ]+ v7 }' k/ _& H plt.plot(fpr, tpr, marker="o", label="ROC曲线")
" x# T" b) e, v" p plt.plot([0,1], [0,1], lw=2, ls="--", label="随机猜测")& ~! p3 u2 t* ~8 D1 |
plt.plot([0, 0, 1], [0, 1, 1], lw=2, ls="-.", label="完美预测")" a+ J5 s2 a. x
plt.xlim(-0.01, 1.02)
& i. @2 D7 |5 i( Y8 Y! b plt.ylim(-0.01, 1.02); _6 E e9 q- c% H* L" ~
plt.xticks(np.arange(0, 1.1, 0.1))
. I) M6 B) ^( Z- e: @' N plt.yticks(np.arange(0, 1.1, 0.1))
% W3 J! j# c9 u& r; k( [$ z4 d plt.xlabel("False Positive Rate(FPR)")
' U1 M& | P. |& j! O' C plt.ylabel("True Positive Rate(TPR)")
4 O7 a5 L4 E) {/ b" N plt.grid() V s8 y4 q. \4 ^9 H
plt.title(f"ROC曲线-AUC值为{auc(fpr, tpr):.2f}")
6 O! ]5 r6 v$ F- o" l plt.legend()
2 B8 [0 m# I4 \9 N* j4 x plt.show()
+ Y) D* L- T4 a$ i1 n& e6 H8 B
. d5 Z" p" m' j9 \ |
4 F1 j- S3 j/ b Z6 T7 C 5、总结, f" u* n6 Q3 `& V! y4 g
1 k( E4 p3 }: o6 j8 O
混淆矩阵的含义。
. F# d! Z, M3 H0 M6 L3 I2 n 正确率,精准率,召回率与调和平均值F1的含义。
( b3 R$ z) \( d6 z ROC与AUC。
; @# K3 r8 U$ x9 q5 q
/ U2 s) @: z2 {. ]; ?; N* P0 I! f 参考资料:
) y! @! X5 ], p) ?1 x( I/ o: h 1、https://blog.csdn.net/zuolixiangfisher/article/details/81328297. @1 Q! e& S: G. q
2、https://www.jianshu.com/p/2feb00839154
1 e& w& a( ^ I6 n( s1 ^8 W 3、https://www.cnblogs.com/kamekin/p/9788730.html2 _( ~! G3 f5 U: ^7 [
4、https://www.jianshu.com/p/c61ae11cc5f6# b4 @* Z! Q$ \. Y6 @, s
————————————————
7 V+ K2 L$ y; p8 \5 s& T 版权声明:本文为CSDN博主「糖潮丽子~辣丽」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
$ y/ }# D7 [0 H$ Z 原文链接:https://blog.csdn.net/qq_39783601/article/details/105600700
, A6 X! X0 `+ _- _2 Y
3 ]: X q2 j! v# O6 \. X% ^
% h' f& ?& ?" `3 c* X
zan