净重新分类指数NRI的计算

杨利霞

净重新分类指数NRI的计算
8 t6 n* c" q/ m, e4 T% m) Z“ 医学和生信笔记，专注R语言在临床医学中的使用，R语言数据分析和可视化。主要分享R语言做医学统计学、meta分析、网络药理学、临床预测模型、机器学习、生物信息学等。
- _# }6 K. e, o5 \NRI，net reclassification index，净重新分类指数，是用来比较模型准确度的，这个概念有点难理解，但是非常重要，在临床研究中非常常见，是评价模型的一大利器！
7 f4 ?) C  ^: U! _# \5 y
在R语言中有很多包可以计算NRI，但是能同时计算logistic回归和cox回归的只有nricens包，PredictABEL可以计算logistic模型的净重分类指数，survNRI可以计算cox模型的净重分类指数。

8 ~! U* n1 b* f% C. q" ]0 vlogistic的NRI
1 l6 D" D% e7 s: snricens包
7 `$ S+ P0 y; u5 ]PredictABEL包
  Y5 q5 d8 Z* q+ V生存分析的NRI
5 P. m# K1 G( U2 n$ O% L; T* Bnricens包
2 q# k2 I& r- J' c* g# E. WsurvNRI包
logistic的NRI
- P7 _" ^$ Z" e& X: ^1 Q9 G) lnricens包
% l( ?4 m  m1 d8 D# j+ ]  d- N#install.packages("nricens") # 安装R包
library(nricens)
4 K" Z& B- a/ _( k2 i1
## Loading required package: survival
1
4 p9 b, {5 v$ r2 L0 Q6 b1 W使用survival包中的pbc数据集用于演示，这是一份关于原发性硬化性胆管炎的数据，其实是一份用于生存分析的数据，是有时间变量的，但是这里我们用于演示logistic回归，只要不使用time这一列就可以了。

' R/ v8 x9 O7 w# z: P) jlibrary(survival)
8 T9 P; R& f8 O8 w0 D/ A
0 A6 B  m% _/ w$ {& `* r4 ^# 只使用部分数据
: p% \/ R4 r% N" v: r8 Sdat = pbc[1:312,]
6 U" ^: t2 b2 y4 W$ rdat = dat[ dat$time > 2000 | (dat$time < 2000 & dat$status == 2), ]
! O- b" T! N( K" e2 {/ C' f; B0 h
  h2 j$ ~" y! |6 K9 }/ xstr(dat) # 数据长这样
1
## 'data.frame': 232 obs. of  20 variables:
##  $ id      : int  1 2 3 4 6 8 9 10 11 12 ...
##  $ time    : int  400 4500 1012 1925 2503 2466 2400 51 3762 304 ...
##  $ status  : int  2 0 2 2 2 2 2 2 2 2 ...
2 n9 @' K% t  L##  $ trt     : int  1 1 1 1 2 2 1 2 2 2 ...
) a3 Y6 b. j# n3 J- z# p##  $ age     : num  58.8 56.4 70.1 54.7 66.3 ...
9 e& p9 P0 R+ x- x: H$ c2 L& X5 l- F##  $ sex     : Factor w/ 2 levels "m","f": 2 2 1 2 2 2 2 2 2 2 ...
##  $ ascites : int  1 0 0 0 0 0 0 1 0 0 ...
##  $ hepato  : int  1 1 0 1 1 0 0 0 1 0 ...
##  $ spiders : int  1 1 0 1 0 0 1 1 1 1 ...
##  $ edema   : num  1 0 0.5 0.5 0 0 0 1 0 0 ...
& W$ k% y( i1 o9 j. a' I5 Q##  $ bili    : num  14.5 1.1 1.4 1.8 0.8 0.3 3.2 12.6 1.4 3.6 ...
##  $ chol    : int  261 302 176 244 248 280 562 200 259 236 ...
% e% _8 t: U1 e3 M2 Z##  $ albumin : num  2.6 4.14 3.48 2.54 3.98 4 3.08 2.74 4.16 3.52 ...
##  $ copper  : int  156 54 210 64 50 52 79 140 46 94 ...
# m0 ?7 Z) g2 s* v##  $ alk.phos: num  1718 7395 516 6122 944 ...
##  $ ast     : num  137.9 113.5 96.1 60.6 93 ...
3 `% f# f$ y8 i/ Q1 n; D##  $ trig    : int  172 88 55 92 63 189 88 143 79 95 ...
- z# v3 r0 t: F+ q* b6 p##  $ platelet: int  190 221 151 183 NA 373 251 302 258 71 ...
##  $ protime : num  12.2 10.6 12 10.3 11 11 11 11.5 12 13.6 ...
  Q3 I6 ^3 E: _% P4 n7 S& f4 z0 d##  $ stage   : int  4 3 4 4 3 3 2 4 4 4 ...
* |! x1 p9 l; P( O" ~5 |
! e  x+ K" `! |4 |7 C8 y1
dim(dat) # 232 20
5 Q. A* \. R1 b3 @, F; r1
## [1] 232  20
1
: O* T4 Z" F+ r; j然后就是准备计算NRI所需要的各个参数。
6 |4 E+ E: t. `9 r7 k
" Y) H/ u% q* V; X8 Z. E0 d$ `# 定义结局事件，0是存活，1是死亡
event = ifelse(dat$time < 2000 & dat$status == 2, 1, 0)

# 两个只由预测变量组成的矩阵
, H! d! g4 m' Mz.std = as.matrix(subset(dat, select = c(age, bili, albumin)))
z.new = as.matrix(subset(dat, select = c(age, bili, albumin, protime)))

# 建立2个模型
mstd = glm(event ~ age + bili + albumin, family = binomial(), data = dat, x=TRUE)
mnew = glm(event ~ age + bili + albumin + protime, family = binomial(), data = dat, x=TRUE)

" z/ [7 S7 }- L8 X# 取出模型预测概率
* c  h, l( b6 B1 U+ gp.std = mstd$fitted.values
p.new = mnew$fitted.values

9 C7 t8 y) |! B5 f) U* a; x1 Z1
然后就是计算NRI，对于二分类变量，使用nribin()函数，这个函数提供了3种参数使用组合，任选一种都可以计算出来（结果一样），以下3组参数任选1组即可。 mdl.std, mdl.new 或者 event, z.std, z.new 或者 event, p.std, p.new。

' }7 m+ f  a9 Q# 这3种方法算出来都是一样的结果
" }" G, j. W% z5 B
/ @5 U  s+ B( @# 两个模型
, {8 h  K" l4 B' \6 M  ?  rnribin(mdl.std = mstd, mdl.new = mnew,
       cut = c(0.3,0.7),
& ^! I. u. Y0 J" \9 O6 h       niter = 500,
       updown = 'category')
* F* S2 Y0 j; `) x
6 V- L! F9 K' W5 p$ Y0 q2 n- ?# 结果变量 + 两个只有预测变量的矩阵
nribin(event = event, z.std = z.std, z.new = z.new,
       cut = c(0.3,0.7),
. i1 H0 k( x$ K3 k       niter = 500,
4 t1 ^1 Z. Q) y8 d. @       updown = 'category')

; z) v& p4 R8 B6 M' @## 结果变量 + 两个模型得到的预测概率
nribin(event = event, p.std = p.std, p.new = p.new,
( q$ |! q! Q2 w$ h( @* d0 _       cut = c(0.3,0.7),
       niter = 500,
       updown = 'category')
& A6 x$ z0 f) E/ R) I
1
其中，cut是判断风险高低的阈值，我们使用了0.3,0.7，代表0-0.3是低风险，0.3-0.7是中风险，0.7-1是高风险，这个阈值是自己设置的，大家根据经验或者文献设置即可。

niter是使用bootstrap法进行重抽样的次数，默认是1000，大家可以自己设置。
" |0 E% k: G7 n" q
updown参数，当设置为category时，表示低、中、高风险这种方式；当设置为diff时，此时cut的取值只能设置1个，比如设置0.2，即表示当新模型预测的风险和旧模型相差20%时，认为是重新分类。

上面的代码运行后结果是这样的：

UP and DOWN calculation:
# A- L. ]7 @" l  X; u  #of total, case, and control subjects at t0:  232 88 144

$ B" p2 q: U/ z/ [0 U" T3 V  Reclassification Table for all subjects:
6 ?9 Q  `! N' l5 V2 D' S% P) b        New
Standard < 0.3 < 0.7 >= 0.7
; _1 v! Y0 m1 d$ Z' p  < 0.3    135     4      0
/ y/ T* f' K# w- W! {  < 0.7      1    31      4
  >= 0.7     0     2     55
. b, H2 ^4 X9 h) [# t% a
  Reclassification Table for case:
        New
6 X# s* k8 R5 }' Z' QStandard < 0.3 < 0.7 >= 0.7
  < 0.3     14     0      0
9 G+ ^( I4 y! L; D6 q# T  < 0.7      0    18      3
/ Q# f2 u' w( P/ |. i0 D  >= 0.7     0     1     52

  Reclassification Table for control:
- e) o8 Z0 l. s& p) e! _9 D        New
Standard < 0.3 < 0.7 >= 0.7
  < 0.3    121     4      0
5 J; X2 s9 y, {& ~  < 0.7      1    13      1
& A& O, k. m4 r- r5 L  ~  >= 0.7     0     1      3

NRI estimation:
& @$ d1 j" c0 ]% tPoint estimates:
                  Estimate
% R/ o8 S, P: J0 \NRI            0.001893939
NRI+           0.022727273
NRI-          -0.020833333
* ?/ A* ?2 e5 k& ~1 vPr(Up|Case)    0.034090909
  s' A5 X! r3 N  I. y6 a: p; gPr(Down|Case)  0.011363636
Pr(Down|Ctrl)  0.013888889
' n" Z0 `. F. R  ]; t. [4 J" fPr(Up|Ctrl)    0.034722222
% l( ^- b# o6 w0 G4 T4 v1 V
Now in bootstrap..
8 n. N) p! y' U+ F+ \
Point & Interval estimates:
                  Estimate   Std.Error        Lower       Upper
- @4 L3 \/ b7 _1 x0 T8 zNRI            0.001893939 0.027816095 -0.053995513 0.055354449
5 {3 b, U) `' F& T" O! ~7 Y+ z) }NRI+           0.022727273 0.021564394 -0.019801980 0.065789474
. v  h2 o* X. w, X0 hNRI-          -0.020833333 0.017312438 -0.058823529 0.007518797
5 T0 Q% ~( y* _9 N% f( D& `7 }Pr(Up|Case)    0.034090909 0.019007629  0.000000000 0.072164948
% r6 x* Q6 f7 H7 NPr(Down|Case)  0.011363636 0.010924271  0.000000000 0.039603960
1 Y7 I) z! R* u/ u9 D, DPr(Down|Ctrl)  0.013888889 0.009334685  0.000000000 0.035211268
Pr(Up|Ctrl)    0.034722222 0.014716046  0.006993007 0.066176471
' y+ A) N# F5 T- x+ G8 {" O; z1 o
1
, X% H+ G6 e0 ^& m  P- z8 c3 V首先是3个混淆矩阵，第一个是全体的，第2个是case（结局为1）组的，第3个是control（结局为2）组的，有了这3个矩阵，我们可以自己计算净重分类指数。
$ f  u9 B& d8 e! x- N
看case组：

$ y, Z9 f! `! x( Z5 w净重分类指数 = ((0+3)-(0+1)) / 88 ≈ 0.022727273
; u9 I3 B4 |2 f4 w+ Y# g
再看control组：
; C" V4 O; H8 w7 N5 r
$ L7 \$ S' S: a+ @5 n. z8 j净重分类指数 = ((1+1)-(4+1)) / 144 ≈ -0.020833333

3 w- h: ]7 R; u( ^3 `  |  b! |% \7 e相加净重分类指数 = case组净重分类指数 + control组净重分类指数 = 2/88 - 3/144 ≈ 0.000315657

再往下是不做bootstrap时得到的估计值，其中NRI就是绝对净重分类指数，NRI+是case组的净重分类指数，NRI-是control组的净重分类指数（和我们计算的一样哦），最后是做了500次bootstrap后得到的估计值，并且有标准误和可信区间。
' b6 q5 p( F8 t9 X! d" r7 r
最后还会得到一张图：
+ f/ N# a& ~9 j: |) c( W
这张图中的虚线对应的坐标，就是我们在cut中设置的阈值，这张图对应的是上面结果中的第一个混淆矩阵，反应的是总体的情况，case是结果为1的组，也就是发生结局的组，control是结果为0的组，也就是未发生结局的组。

P值没有直接给出，但是可以自己计算。
+ [9 h) n6 l  s' S* T6 S
, i& l. T  R; y. b# 计算P值
: r: C# m9 w/ e5 d8 ^3 w, _& Uz <- abs(0.001893939/0.027816095)
p <- (1 - pnorm(z))*2
- D$ u2 P4 A+ P4 lp
3 @" k3 Q8 G! l' H! n; P1
& t0 u9 j" M2 p9 W## [1] 0.9457157
1
PredictABEL包
#install.packages("PredictABEL") #安装R包
library(PredictABEL)  
! _+ A! f$ h, P6 C
+ q) j, r9 @- a* D* i# 取出模型预测概率，这个包只能用预测概率计算
; e3 n- M* ?) C( o5 cp.std = mstd$fitted.values
p.new = mnew$fitted.values
) f( m2 ~- `- ~, ?' ~: W" e1
! Y1 @3 O" \3 v/ Y然后就是计算NRI：

# V" [# o3 T5 }dat$event <- event

: U! m1 L, e5 v4 ~/ Dreclassification(data = dat,
                 cOutcome = 21, # 结果变量在哪一列
                 predrisk1 = p.std,
" j# j* X' c7 X5 P- s7 c                 predrisk2 = p.new,
: v+ v* j4 G% s9 z: E0 G% P0 p                 cutoff = c(0,0.3,0.7,1)
% m6 z( j  [2 P4 K, ]9 w' C9 W                 )
1
##  _________________________________________
##  
##      Reclassification table   
+ ^; i* {/ H- {' P. g1 g##  _________________________________________
##
! @3 z2 X: v0 {2 l# K" ]( q6 T( ]##  Outcome: absent
##   
##              Updated Model
## Initial Model [0,0.3) [0.3,0.7) [0.7,1]  % reclassified
  X7 m7 i8 ]9 Q##     [0,0.3)       121         4       0               3
##     [0.3,0.7)       1        13       1              13
##     [0.7,1]         0         1       3              25
##
7 |3 Y1 O: p$ a, y2 k; e* m, q$ \##  
##  Outcome: present
##   
##              Updated Model
## Initial Model [0,0.3) [0.3,0.7) [0.7,1]  % reclassified
##     [0,0.3)        14         0       0               0
##     [0.3,0.7)       0        18       3              14
##     [0.7,1]         0         1      52               2
$ k. x" d" H9 }2 t8 H* k5 s##
1 `. r: p/ w; E6 z# A##  
$ Q0 Y1 b. e; G' R8 r##  Combined Data
##   
$ j: |  O# H" a& M& S* d, |# @##              Updated Model
- P8 |, M6 V+ }# R# ~3 O2 n5 n## Initial Model [0,0.3) [0.3,0.7) [0.7,1]  % reclassified
##     [0,0.3)       135         4       0               3
##     [0.3,0.7)       1        31       4              14
% r) z7 B" G- `6 K##     [0.7,1]         0         2      55               4
##  _________________________________________
##
( _! S( A) C6 G7 u% p7 z- n##  NRI(Categorical) [95% CI]: 0.0019 [ -0.0551 - 0.0589 ] ; p-value: 0.94806
##  NRI(Continuous) [95% CI]: 0.0391 [ -0.2238 - 0.3021 ] ; p-value: 0.77048
) e7 o* w; p8 O##  IDI [95% CI]: 0.0044 [ -0.0037 - 0.0126 ] ; p-value: 0.28396
+ M7 [+ i! |7 a/ H$ w5 ~% [3 Y
: b8 y  g7 ^7 u) A& D3 Z1
结果得到的是相加净重分类指数，还给出了IDI和P值。两个包算是各有优劣吧，大家可以自由选择。

. M- q) D% H( @# j; O; Y3 C生存分析的NRI
还是使用survival包中的pbc数据集用于演示，这次要构建cox回归模型，因此我们要使用time这一列了。

nricens包
library(nricens)
library(survival)
3 y" `1 t0 D7 [2 t9 ~. Q8 u
! {9 d& ]& H! O+ ddat <- pbc[1:312,]
dat$status <- ifelse(dat$status==2, 1, 0) # 0表示活着，1表示死亡
1
% x$ ^( @2 U/ E3 X" ~$ [, g, B6 G然后准备所需参数：

# 两个只由预测变量组成的矩阵
0 r* `4 j- H1 R6 E3 L" Z- {z.std = as.matrix(subset(dat, select = c(age, bili, albumin)))
z.new = as.matrix(subset(dat, select = c(age, bili, albumin, protime)))

* V* h) M9 u+ \; u; U. c3 O' a# 建立2个cox模型
' Q8 P9 P  d! O0 w" ymstd <- coxph(Surv(time,status) ~ age + bili + albumin, data = dat, x=TRUE)
, Y! z: z3 X) |; c" Z" a8 k0 w. Q* emnew <- coxph(Surv(time,status) ~ age + bili + albumin + protime, data = dat, x=TRUE)
/ g1 I' E% W5 @% b
# 计算在2000天的模型预测概率，这一步不要也行，看你使用哪些参数
p.std <- get.risk.coxph(mstd, t0=2000)
p.new <- get.risk.coxph(mnew, t0=2000)
1
计算NRI：

  F9 g6 O. v! m6 @nricens(mdl.std= mstd, mdl.new = mnew,
7 z& [" x% N+ k0 l2 n, ~        t0 = 2000,
- W  n2 e- @. |. @        cut = c(0.3, 0.7),
$ ~& }5 o7 z; m; y" ]        niter = 1000,
: |" w2 U+ k! l9 @6 v        updown = 'category')

UP and DOWN calculation:
# T" j2 q+ [6 u+ F, e. R! u  A  #of total, case, and control subjects at t0:  312 88 144

5 h' B6 Y9 W$ u  Reclassification Table for all subjects:
        New
( `! F# i. n2 u* PStandard < 0.3 < 0.7 >= 0.7
: q, i5 q# j* Z- s1 }0 V  < 0.3    202     7      0
7 u6 k6 l- o8 N( ?" O" `: y% @  < 0.7     13    53      6
; D! U) K0 {- ^1 F: y5 U  >= 0.7     0     0     31

9 ~/ G; G9 R6 h8 m! ]' M) u. T' T  Reclassification Table for case:
        New
Standard < 0.3 < 0.7 >= 0.7
, k0 O# Z. Y, M6 G2 q  < 0.3     19     3      0
  < 0.7      3    32      4
- e  k( F% O5 A3 P5 c) G4 `9 M) Q! v& q  >= 0.7     0     0     27
( C. F. l- {) D4 u
, F5 @) q, ]: v$ M) _/ ~  Reclassification Table for control:
        New
Standard < 0.3 < 0.7 >= 0.7
) n! o8 b& p% z7 P" ?( G  < 0.3    126     3      0
" N2 m: @5 S6 a" ^2 G8 e! G  < 0.7      5     7      2
  >= 0.7     0     0      1

NRI estimation by KM estimator:
1 o! K! u3 a# t) M7 f
Point estimates:
                Estimate
/ Q( W. |. u: Z! QNRI           0.05377635
$ Z, j9 R# L  Y) BNRI+          0.03748660
NRI-          0.01628974
Pr(Up|Case)   0.07708938
Pr(Down|Case) 0.03960278
Pr(Down|Ctrl) 0.04256352
Pr(Up|Ctrl)   0.02627378
' s+ N! m9 k+ Q
. e) Z8 u: g% {7 nNow in bootstrap..

Point & Interval estimates:
- Y! d8 |7 Z: @2 E8 c8 d& @" [                Estimate        Lower      Upper
NRI           0.05377635 -0.082230381 0.16058172
NRI+          0.03748660 -0.084245197 0.13231776
) ]- [% {" c" X- yNRI-          0.01628974 -0.030861213 0.06753616
( r8 D, j/ I# ?2 Q) y$ v3 vPr(Up|Case)   0.07708938  0.000000000 0.19102291
Pr(Down|Case) 0.03960278  0.000000000 0.15236016
: I, S, D: O, {, A$ ~Pr(Down|Ctrl) 0.04256352  0.004671535 0.09863170
Pr(Up|Ctrl)   0.02627378  0.006400463 0.05998424

1
- W3 L4 j$ m/ s6 v
Snipaste_2022-05-20_21-49-38
8 h! L: u% D! w  s2 b结果的解读和logistic的一模一样。

0 V6 i5 m' Z4 x9 ]" UsurvNRI包
# 安装R包
devtools::install_github("mdbrown/survNRI")
1
加载R包并使用，还是用上面的pbc数据集。

library(survNRI)
1
+ X7 |4 |& t. r. g1 C) [## Loading required package: MASS
1
library(survival)

# 使用部分数据
dat <- pbc[1:312,]
( V- p$ p3 i0 w4 S+ t/ Gdat$status <- ifelse(dat$status==2, 1, 0) # 0表示活着，1表示死亡
- b+ |; z. b! T% V9 `
0 i) U( V# ?6 J9 `res <- survNRI(time  = "time", event = "status",
, u* S5 a" C  S7 q        model1 = c("age", "bili", "albumin"), # 模型1的自变量
        model2 = c("age", "bili", "albumin", "protime"), # 模型2的自变量
" E# I6 f. G4 w2 ^0 f: L        data = dat,
        predict.time = 2000, # 预测的时间点
        method = "all",
        bootMethod = "normal",  
/ T& g% D$ \' G) B* B( l0 n8 M        bootstraps = 500,
        alpha = .05)

1
查看结果，$estimates给出了不同组的NRI以及总的NRI，包括了使用不同方法（KM/IPW/SmoothIPW/SEM/Combined）得到的结果；$CI给出了可信区间。
- W. [3 S! X4 _1 f7 x
res
1
## $estimates
+ Q4 c  L) K8 c6 Y##            NRI.event NRI.nonevent       NRI
  I! |. E! r3 J5 M/ G## KM        0.20445422    0.3187408 0.5231951
3 }1 O1 C/ K9 e+ K3 w- [## IPW       0.22424434    0.3273544 0.5515987
! W+ I- i" h5 @+ i7 L## SmoothIPW 0.19645006    0.3144263 0.5108763
## SEM       0.07478611    0.2632127 0.3379988
## Combined  0.19633867    0.3143794 0.5107181
6 ~( O) C  x5 T5 s/ Y5 h##
( w8 ^* G! U/ q' h1 ?7 \## $CI
1 C3 r6 T/ E$ e" t! I! f  G8 t## $CI$NRI.event
##                     KM         IPW   SmoothIPW        SEM   Combined
## lowerbound -0.03915924 -0.02185068 -0.04724202 -0.1162587 -0.0473723
( J, b4 r4 Z/ R9 s' g$ d* M## upperbound  0.44806768  0.47033936  0.44014214  0.2658309  0.4400496
##
2 w  N2 d- k# r/ G$ B; S## $CI$NRI.nonevent
##                   KM       IPW SmoothIPW        SEM  Combined
## lowerbound 0.1317108 0.1396315 0.1286685 0.08638933 0.1286426
. f& D2 ?7 L% L. {, a  Z## upperbound 0.7102251 0.7393216 0.6966341 0.51482212 0.6964549
##
8 |& {7 N1 t1 t+ U" s## $CI$NRI
##                     KM         IPW   SmoothIPW         SEM    Combined
## lowerbound -0.05112533 -0.04569046 -0.05439863 -0.04132364 -0.05443409
( D1 c+ K) p# O6 N, n% w& V## upperbound  0.89306122  0.92464359  0.87970125  0.64253510  0.87953153
##
##
( O+ b7 [0 x9 q+ F## $bootMethod
: M. O- k1 T, o2 B( j## [1] "normal"
##
, d5 t, x+ p3 _* q* @# H## $predict.time
& y9 P7 p9 v- u4 e. H( Z( j## [1] 2000
##
7 j7 N8 Y5 t; A+ Y9 _0 d8 E- F, b## $alpha
. V" P  ?. y- J, Q; I## [1] 0.05
: s, X6 n3 r: T$ p2 K2 M##
## attr(,"class")
## [1] "survNRI"

1
OK，这就是NRI的计算，除此之外，随机森林、决策树、lasso回归、SVM等，这些模型，都是可以计算的NRI的，后面会继续介绍。大家如果有问题欢迎在评论区留言。

4 b$ j3 q1 l8 R$ K. }4 @7 ?/ ^+ g3 W本文首发于公众号：医学和生信笔记

“ 医学和生信笔记，专注R语言在临床医学中的使用，R语言数据分析和可视化。主要分享R语言做医学统计学、meta分析、网络药理学、临床预测模型、机器学习、生物信息学等。
3 f  h; C  T4 P# H, v本文由 mdnice 多平台发布
- @3 v' G7 n& }5 Y7 q, I4 I————————————————
" F5 D$ q6 ?4 \- y# ]! Z0 D! @版权声明：本文为CSDN博主「阿越就是我」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
' F/ H% I3 R( M$ t, p+ O9 ~6 S3 i原文链接：https://blog.csdn.net/Ayue0616/article/details/126768006
3 p7 C3 j2 e% ^2 c$ [9 x; @