2020 全国大学生数学建模竞赛C题思路+代码

杨利霞

2020 全国大学生数学建模竞赛C题思路+代码
题目链接：https://cloud.189.cn/t/ri2uUb7BRVJr


前言


$ }/ o1 E/ z+ y0 }7 }
2 _$ l7 U1 }7 _& j5 z5 i
又是一年数据挖掘题型，第一次接触这种题型还是在去年的mathorcup上，这种题的难度就在于指标的建立和数据的处理上。后面会出一份关于数据挖掘题型，我的相关经验，常用的工具和代码。

' [1 \2 h$ r. G% @0 Q5 H
下面的一，二问实际都在解决
+ R0 {1 b$ \  ]. R6 h, k
. a9 q& [. w$ L
贷不贷款？
! o  f- _5 u1 O- S+ O1 [! s9 }4 W2 \3 r4 x贷款金额多少？
数据清洗
# M; B9 ^) m# f9 h$ [8 p这道题的附件数据没有出现缺省或者异常数据，因此对于数据的预处理，更多的是根据问题的需求来做的。

0 I; x8 V9 P* t% {' i
0 Q, O) T8 B4 N& a将是否违约，违约设置为1，不违约设置为0
3 L4 o' H, k2 k: p. ~' ^! {. g

' Q2 @9 \% q2 B信誉等级ABCD分别对应4,3,2,1
; N7 P5 Q" K: N/ x6 q9 A7 }0 t3 M
7 H( m$ M; _& |, B
发票状态，有效发票为a，作废发票为b
  |# M6 n* C" L9 ^8 }3 c

/ ]) j0 m  M6 c' Y+ Q0 S. ?我将销项和进项所有数据，以公司代码为区别，提取到了不同的sheet当中，对于该公司有效发票数，作废发票数，负数发票数，方便对数据观察。
% z4 }5 k  E0 b8 O  }
' P/ \, X! U4 ^- X3 ?1 F( \& Q
# 遍历所有sheet数据
' S  c9 d3 Q4 U& |2 ffor xsn in sn.sheet_names[1:]:
6 M" e  B( c4 `: K# [, M    # 读取文件
6 ]: k- ]0 u- e0 I, ~    datas = pd.read_excel(file_pos, sheet_name=xsn)
    datas['date']=pd.to_datetime(datas['date'],format='%Y/%m/%d')
) c( o* m9 ]' k  m- u: ^    datas.set_index('date', drop=True)
    # 找到全部公司名称代号
4 ^# T' Z1 L  N; P3 ?) u    code_list = list(set(list((datas['code']))))
! F, I" D2 w$ ?2 `- H    for name in code_list:
        tmp_datas = datas[datas['code'] == name]
        tmp_datas.index = range(len(tmp_datas))
        # 转换日期未object类型
2 B8 K; k" D; o) ~! y0 d        tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
% Z& W$ t$ X7 @  {5 l8 p; _        count1 = tmp_datas['tax_status'].value_counts()
        tmp_datas['a_count'] = list(count1)[0]
        if(len(count1) > 1):
            tmp_datas['b_count'] = list(count1)[1]
" x4 e  }) U" l; W4 L        tmp2 = tmp_datas[tmp_datas['cost'] < 0]
' `" [: G/ k3 I' B- R" D; A8 f        tmp_datas['neg_value_tax'] = len(tmp2)
, S  Q; R, U% i) C6 F  h0 k        if xsn == sn.sheet_names[1]:
            tmp_datas.to_excel(writer1,sheet_name=name,index=False)
        else:
9 Q3 t: r0 `6 F            tmp_datas.to_excel(writer2,sheet_name=name,index=False)
2 G( \/ a* M' r$ X负数发票：在之前购买的物品，并开具了相关正向发票，后来退货所以开具了值为负数的发票，抵消前面正数发票的值。
3 g* {  a# h+ B/ E- f7 b

* P- q# ]6 p# h4 H5 d5 p) V- g提取到信息：
. a) z7 E  }: U

部分公司数据记录很少，或者时间跨度大，需要综合数据指标，抵消数据数量和跨度大的影响
有些负数发票，在之前找不到对应的正数发票，可能是因为在数据记录日期之前购买的，在之后退款，因此在附件中找不到记录。
5 M6 v) A( T0 i) E1 Y问题一
建立指标
0 T$ n7 Q1 }: T3 C9 ]7 C进项发票作废率，进项负数发票率，进项每月平均交易额，进项每月交易次数，

5 y, l0 h# T- A( @: u
销项发票作废率，销项负数发票率，销项每月平均交易额，销项每月交易次数，销售收入增长率

/ R' H0 M% W- [5 x) [
: Y1 g9 \7 ^% r% B2 Q1 |- z9 y& ]提取出相关指标到附件
, s& L/ s5 [1 I8 K

for xsn in sn.sheet_names[1:]:
    # 读取文件
    datas = pd.read_excel(file_pos, sheet_name=xsn)
    code_list = list(set(list((datas['code']))))
/ l1 }2 m  l; A: g9 ^7 f    for name in code_list:
        tmp_datas = datas[datas['code'] == name]
8 z$ ]# w, z  M9 ]2 F- s( N/ L& K        tmp_datas.index = range(len(tmp_datas))
# q& b. v; J! x7 F0 \        insert_datas.append(name)
        # 作废数
        cacel_count = len(tmp_datas[tmp_datas['tax_status'] == 'b'])
2 w$ ]* K: u2 s5 f4 h        # 有效数
        valid_count = len(tmp_datas[tmp_datas['tax_status'] == 'a'])
        # 发票作废率
        count1 = (cacel_count / (cacel_count + valid_count))*100
! y6 U  J/ u) y/ T1 w3 I        # 负数发票数
7 b: n8 c) U; n7 C# J0 b1 _        neg_count = len(tmp_datas[tmp_datas['cost'] < 0])
        # 负数发票率
        count2 = (neg_count / valid_count) * 100
& a! r" r6 O9 A        # 转换时间
        tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
        # 时间最大值
        max_time = tmp_datas.iloc[0:,1].max()
        # 时间最小值
, j2 \1 Z* ]. W- W0 z' W& d  m        min_time = tmp_datas.iloc[0:,1].min()
1 x( c. c7 p. d' m/ S        # 时间差
        diff_time = months(max_time, min_time) + 1
1 V# w+ H$ J/ w5 j, L+ v        # 有效票
7 V) x8 A2 _7 D4 r: J+ \: h        valid_tax = tmp_datas[tmp_datas['tax_status'] == 'a']
        # 平均月交易额
1 X4 O+ f* P, V$ q        avg_money = valid_tax['totle_cost'].sum() / diff_time
        # 平均每月交易次数
        trans_count = len(tmp_datas) / diff_time
        insert_datas += [count1, count2, avg_money, trans_count,]
        if flag:
            df1.loc[len(df1)] = insert_datas
9 s% \( c0 P2 q! U9 o            df1.to_excel(writer1,sheet_name='进项信息',index=False)
; T1 W# P1 a0 C" A1 ?        else:
            merge_time = tmp_datas.groupby(tmp_datas['date']).sum()
# H( I# |9 `2 T6 U% V; t            # 销售收入增长率
            income_info= list((merge_time['cost'] - merge_time['cost'].shift(1)).fillna(1))
            diff_time_day = days(max_time,min_time)
+ R. r* P) d* k1 E! o9 V            income_tax = (sum(income_info) / diff_time_day)*100
            insert_datas.append(income_tax)
            df2.loc[len(df2)] = insert_datas
- \0 e% |9 L+ o$ a6 ?8 @            df2.to_excel(writer1,sheet_name='销项信息',index=False)
        insert_datas = []
, t% u0 Y# V+ y* c8 R4 C3 @    flag = False



, p' Z' @8 z8 ]/ @
并将是否违约插入到最后一列
  O/ W) X9 e( V- S2 O; L
+ M3 Z0 E5 L# l
# 提取是否违约的列表
m = []
1 Y# d" y5 Z  Ifor name in code_list:
    m.append(datas[datas['code']==name]['break_contract'].tolist()[0])
& i% {* I8 g/ Q/ w& U. |  r9 z! d    df1.loc[:,len(df1)] = m
    df1.to_excel(writer3,sheet_name='sheet1',index=False)
2 {. ~6 J" T% ?! B" F- S建立模型
8 T$ u' U6 b+ @9 @$ j3 X; x, ^9 NLogistics违约率预测模型
& a3 N$ o+ l( O, n1 }4 u) ^# h. y. Z使用Logistics违约预测模型，代入所有的指标数据为自变量，是否违约为因变量，预测出违约率。
. u+ x( u- z5 A3 F! H4 X% x

X=datas[['进项发票作废率','进项负数发票率','进项每月平均交易额','进项每月交易次数','销项发票作废率','销项负数发票率','销项每月平均交易额','销项每月交易次数','销售收入增长率']]
y=datas['是否违约']
4 u. Q2 ]6 G6 r7 c7 I& u' BX_train, X_test, y_train, y_test = train_test_split(X,y, test_size=0.2,random_state=2020)
X_validation, X_test, y_validation, y_test = train_test_split(X_test,y_test, test_size=0.1,random_state=2020)
2 e$ A8 ^4 W7 }  |9 Y/ f$ T/ ymodel = LogisticRegression()
model.fit(X_train,y_train)
a=model.predict_proba(X_validation)
( X% ]+ _  x9 ]5 C4 m9 Cresult=[]
for i in range(len(a)):
if a[1]>0.5:
    result.append(1)
8 f; o6 B& w/ J5 j8 aelse:
    result.append(0)
. ]. j6 _0 q1 r1 Y/ K  D% A2 R8 {, ufrom sklearn import metrics
: u" A% R$ t. x9 l$ cprint('误差: %.4f' % (1-metrics.recall_score(y_validation,result,average='weighted')))
' h) K; Z; W4 _8 v$ p2 k最终得到一张我们的分析表格

. O# w3 J7 A  O

* t7 p; w, T  k6 e. C6 A0 k

+ a6 H* {2 l0 u  X: K
6 \( U4 z$ @7 {2 D" q通过预测是否违约，我们就能解决贷不贷款的问题。

, |9 |$ l' m6 c% d8 y% {) K
& K+ u$ a' o7 ]% s* F* O贷款金额
9 Z" O* }( `" a; I( B6 i贷款金额的确认，根据该公司不违约率在所有公司中的权重，乘以总贷款金额确认：

8 x1 c1 R' Q7 i, R
$ h5 N8 V/ u4 j! X0 u; D4 ?


ri=1−Zi∑123j=1(1−Zi)×M
% o8 i3 G0 ~4 s/ u) _( Uri=1−Zi∑j=1123(1−Zi)×M
$ y! H8 `; Z/ W! S7 [, h+ X2 A3 U- R因此，我们得到的贷款金额是违约率和贷款总金额组成的关系式，这在第二问中能起到重要作用。


贷款年利率
: F3 x$ T9 D6 Q! P! d+ m绘制出年利率与客户流失率图，可以分析出两者应该是有关系的。利用SPSS拟合出不同信誉等级，年利率与客户流失率的关系式。
: u0 A( `% [+ n! y$ ]: ]

信誉等级        R平方        关系式
A        0.9977        y = 37.97x^3-258.57x^2+640.944*x -1.121
8 I' W0 }0 x' M/ n  ?( tB        0.9982        y = 33.995x^3-225.051x^2+552.829*x-1.017
8 Y! R( @; S8 j( d5 v, BC        0.9982        y = 32.157x^3-207.386x^2+504.717*x-0.973
4 g- n+ u' V1 _' K* J% `银行获利=贷款金额x贷款年利率x(1-利率对于信誉评级客户流失率)
$ O  W8 x3 c( Z' y* I

' k9 N/ A- B' K0 V" w/ F在贷款金额确认，贷款年利率范围在0.4~1.5的情况下，利用上面拟合的关系式，我们能够暴力跑出最优年利率。
! G# b& [. _" x! ]& v6 x
; R# o0 |/ }# P1 t4 x
double turnover_rate(double x, char ch) {
- J% F1 c* b0 c* h0 p/ t1 m        double y = 0, result = 0;
& R) `; L9 W' I" o3 G( _8 G. ^        switch (ch) {
        case 'A':
+ ?! b, E; F5 T: G; k. U3 a0 U                y = 37.969520 * pow(x, 3) - 258.570452 * pow(x, 2) + 640.944427 * x - 1.121484;
                result = x * (1 - y / 100.0);
/ B" L1 r1 f7 ~                break;
/ U8 c& F# {( E% j7 \' k4 @2 t        case 'B':
  v+ P# ]' H2 @' v                y = 33.994698 * pow(x, 3) - 225.050538 * pow(x, 2) + 552.829151 * x - 1.016503;
( ?7 a, c/ M! l* Z- m% C( w                result = x * (1 - y / 100.0);
                break;
        case 'C':
% m( U# J9 C7 t3 x                y = 32.156864 * pow(x, 3) - 207.385880 * pow(x, 2) + 504.716993 * x - 0.973497;
, {; O: ~: g9 v, e& O% m, B. B                result = x * (1 - y / 100.0);
. P  y& A5 |& Z4 f1 w7 g$ X                break;
        default:
                cout << "输出有误！"  << ch << endl;
        }

  d5 l. q0 f' L8 q0 f- D        return result;
}




问题二
利用代码，重新计算出各指标数据
* G* {4 S; L, g) b0 W) d代入Logistics违约率预测模型，预测出各公司的违约率
. a4 a: Z( n, C! N* M  z根据标准普尔评级建立，主标尺，对不同违约率进行A~D等级划分，信誉等级D不予贷款
1 ]% N# F) Y% ]* C: F将违约率代入，之前得到的公式，得到具体贷款金额
最优年利率沿用上一问
3 k) {3 G3 j) W/ a7 @! `3 B. o# 信用等级
cs = []
' t! I; ~% y: }  s; B9 r# 最优年利率,客户流失率,利率值
tax = []
for i in m:
    if i <= 0.0069264:
        cs.append('A')
        tax.append([0.083,0.503173,0.0412366])
- Q2 k# a0 k3 r2 Y5 D6 a    elif i > 0.0069264 and i <= 0.22619:
        cs.append('B')
        tax.append([0.097,0.505215,0.0479942])
9 K: ?) J7 c, Y+ {/ A; b$ @    elif i > 0.22619 and i <= 0.509915:
" M7 P% ^. z9 v5 Z. T* p        cs.append('C')
/ s* c! e) I% E- V  m8 E! h5 l; b        tax.append([0.1069,0.506501,0.052755])
    elif i > 0.509915:
/ R0 n: G1 k, W  J" e' s, l        cs.append('D')
4 z1 b* P& \* ^/ m! t/ c        tax.append([0.15,0,0])
+ `, F/ U- `7 p: a    else:
" q. G; f  f  y& O  s4 g% J* n3 L7 s        print('违规')
+ V9 a0 c" b! f& y1 L1 @        
parr = []
for arr in list(a):
    parr.append(list(arr)[0])
4 q, \1 j0 D- G/ D0 a. Nsum_val = sum(parr)
amount = []
for ival in parr:
! E8 @' q/ N% s    tmp = ival / sum_val * 100000000
    if ival < 1 - 0.509915:
* V; h; S4 z) I* I5 [- j4 m" x            amount.append(0)
  U( N1 C, D. `2 ]2 Z/ {    else:
& i, H* y% d) A( `5 R; ]            amount.append(tmp)
% u0 V$ f4 S0 U6 C, L: F. W1 Q
  ^- U- e& ?4 G5 _/ `, {" [
$ A5 ~# O1 [/ a5 B- e' J1 J

' e3 k' C7 V4 p9 R- a: s可以看到，贷款金额也都在10w~100w之内。

4 M% w8 o* H1 B. j/ [; q  J
5 C: D; Q: a& U1 A: S% ~/ d问题三
0 B$ c" ?( x3 |8 H这一问，我们做得有些匆忙了，有其他想法的可以按照自己的想法做做，这里只拿我们的做参照。

5 l: Y2 ~2 T) A) b$ g1 _
: r7 y! J4 Y* q  f疫情对公司影响最大的就是每月平均销售额和每月平均销售数量，因此，
7 B2 V$ ?6 Q! S( u8 U7 u" b/ O

  B8 j- i  Q) n# A对每月平均销售额和每月平均销售数量，分别取随机数，数量取10w组，其他指标数据值不变，是否违约数据根据第二问结果，设为初始值
代入Logistics模型中，预测出每一组的违约率
判断每个公司违约率的变化情况，根据变化情况来增/减贷款金额和年利率。
9 W/ X2 F5 |6 frand_num = pro_rand()

data_form = {'E377':[], 'E311':[], 'E297':[], 'E386':[], 'E233':[], 'E367':[], 'E194':[], 'E196':[], 'E249':[], 'E205':[], 'E159':[], 'E300':[], 'E346':[], 'E395':[], 'E360':[], 'E200':[], 'E195':[], 'E247':[], 'E317':[], 'E303':[], 'E135':[], 'E217':[], 'E298':[], 'E325':[], 'E335':[], 'E157':[], 'E287':[], 'E270':[], 'E286':[], 'E212':[], 'E261':[], 'E423':[], 'E390':[], 'E189':[], 'E129':[], 'E366':[], 'E191':[], 'E246':[], 'E406':[], 'E357':[], 'E349':[], 'E387':[], 'E372':[], 'E385':[], 'E209':[], 'E267':[], 'E414':[], 'E316':[], 'E341':[], 'E281':[], 'E206':[], 'E363':[], 'E166':[], 'E190':[], 'E140':[], 'E130':[], 'E225':[], 'E347':[], 'E356':[], 'E185':[], 'E192':[], 'E207':[], 'E234':[], 'E136':[], 'E379':[], 'E274':[], 'E383':[], 'E242':[], 'E361':[], 'E408':[], 'E198':[], 'E204':[], 'E413':[], 'E389':[], 'E253':[], 'E226':[], 'E231':[], 'E182':[], 'E318':[], 'E392':[], 'E275':[], 'E425':[], 'E388':[], 'E305':[], 'E155':[], 'E348':[], 'E400':[], 'E256':[], 'E351':[], 'E201':[], 'E345':[], 'E278':[], 'E306':[], 'E308':[], 'E215':[], 'E382':[], 'E407':[], 'E376':[], 'E291':[], 'E369':[], 'E139':[], 'E296':[], 'E260':[], 'E145':[], 'E257':[], 'E216':[], 'E125':[], 'E312':[], 'E354':[], 'E380':[], 'E326':[], 'E268':[], 'E186':[], 'E179':[], 'E223':[], 'E319':[], 'E422':[], 'E224':[], 'E151':[], 'E293':[], 'E302':[], 'E309':[], 'E378':[], 'E373':[], 'E364':[], 'E144':[], 'E162':[], 'E208':[], 'E399':[], 'E355':[], 'E197':[], 'E375':[], 'E368':[], 'E334':[], 'E172':[], 'E254':[], 'E352':[], 'E230':[], 'E313':[], 'E255':[], 'E273':[], 'E220':[], 'E169':[], 'E126':[], 'E237':[], 'E153':[], 'E164':[], 'E344':[], 'E284':[], 'E320':[], 'E328':[], 'E143':[], 'E338':[], 'E290':[], 'E251':[], 'E314':[], 'E330':[], 'E424':[], 'E183':[], 'E248':[], 'E181':[], 'E271':[], 'E403':[], 'E359':[], 'E324':[], 'E304':[], 'E213':[], 'E412':[], 'E337':[], 'E235':[], 'E371':[], 'E283':[], 'E391':[], 'E370':[], 'E173':[], 'E158':[], 'E171':[], 'E299':[], 'E310':[], 'E174':[], 'E295':[], 'E402':[], 'E419':[], 'E327':[], 'E294':[], 'E339':[], 'E203':[], 'E285':[], 'E410':[], 'E241':[], 'E152':[], 'E228':[], 'E245':[], 'E263':[], 'E404':[], 'E160':[], 'E292':[], 'E397':[], 'E329':[], 'E163':[], 'E301':[], 'E365':[], 'E178':[], 'E288':[], 'E175':[], 'E211':[], 'E252':[], 'E276':[], 'E156':[], 'E232':[], 'E321':[], 'E128':[], 'E150':[], 'E148':[], 'E161':[], 'E222':[], 'E142':[], 'E134':[], 'E238':[], 'E396':[], 'E239':[], 'E227':[], 'E147':[], 'E188':[], 'E243':[], 'E401':[], 'E362':[], 'E418':[], 'E272':[], 'E333':[], 'E405':[], 'E416':[], 'E358':[], 'E202':[], 'E259':[], 'E180':[], 'E409':[], 'E244':[], 'E394':[], 'E282':[], 'E210':[], 'E124':[], 'E398':[], 'E374':[], 'E277':[], 'E265':[], 'E421':[], 'E342':[], 'E322':[], 'E165':[], 'E340':[], 'E381':[], 'E331':[], 'E280':[], 'E393':[], 'E353':[], 'E221':[], 'E219':[], 'E323':[], 'E336':[], 'E199':[], 'E170':[], 'E137':[], 'E168':[], 'E350':[], 'E141':[], 'E214':[], 'E177':[], 'E250':[], 'E269':[], 'E167':[], 'E307':[], 'E420':[], 'E411':[], 'E262':[], 'E176':[], 'E218':[], 'E229':[], 'E315':[], 'E264':[], 'E127':[], 'E132':[], 'E154':[], 'E133':[], 'E332':[], 'E138':[], 'E258':[], 'E266':[], 'E236':[], 'E415':[], 'E146':[], 'E193':[], 'E187':[], 'E384':[], 'E417':[], 'E289':[], 'E279':[], 'E131':[], 'E184':[], 'E240':[], 'E149':[], 'E343':[]}
df = DataFrame(data_form)
0 W- Q: O2 N' b7 i4 Y
for val in rand_num:
# N# ?) K6 u5 q( t        a = rate_func(val)
        rate_list = get_rate(a)
2 \6 P) @% Z0 M( G6 M- q        df.loc[len(df)]  = rate_list
% ^  }2 O4 ]" }        df.to_excel(writer,sheet_name='违约率变化',index=False)
& [$ F" _& {$ t: t销售数量和销售金额的随机数范围是：0~MAX

' e. F  d( |- m+ k


————————————————
版权声明：本文为CSDN博主「Hk_Mayfly」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_39542714/article/details/108592087

1 F- y( @- o3 @9 {0 b8 `
) Z& B5 o9 I- z" g; ~