2020 全国大学生数学建模竞赛C题思路+代码

杨利霞

2020 全国大学生数学建模竞赛C题思路+代码
2 F0 v6 L! ?" _, S4 V0 ]题目链接：https://cloud.189.cn/t/ri2uUb7BRVJr

6 U! [, @4 m# K+ {. L
" v" k" ?2 i. {前言



- [' C3 F, [# f
6 ^0 \& h2 N0 L又是一年数据挖掘题型，第一次接触这种题型还是在去年的mathorcup上，这种题的难度就在于指标的建立和数据的处理上。后面会出一份关于数据挖掘题型，我的相关经验，常用的工具和代码。
/ t6 w$ H$ A: z! }& ^3 _7 m: C

$ V. h0 ]" |* w9 s6 B下面的一，二问实际都在解决
) s$ {' ^9 i4 Y

贷不贷款？
; \" Y) k# Z; N+ \贷款金额多少？
数据清洗
, C) _- n( r0 t8 T) R这道题的附件数据没有出现缺省或者异常数据，因此对于数据的预处理，更多的是根据问题的需求来做的。
+ @1 l. i- s7 C: M4 g- b6 H
, w3 t  Q' f! w$ Z! g
% ^' @) M" a1 y/ N% }) D将是否违约，违约设置为1，不违约设置为0

9 x- y3 V, m5 v) I, s
5 Z3 E9 G3 C! ]9 W7 l, ~信誉等级ABCD分别对应4,3,2,1

6 s& ]. g# N0 N2 x5 o) G2 ?
发票状态，有效发票为a，作废发票为b

' D, B4 }4 C' C2 p% w
我将销项和进项所有数据，以公司代码为区别，提取到了不同的sheet当中，对于该公司有效发票数，作废发票数，负数发票数，方便对数据观察。


# 遍历所有sheet数据
for xsn in sn.sheet_names[1:]:
    # 读取文件
$ M  y( _1 C' C1 ^# Q% @    datas = pd.read_excel(file_pos, sheet_name=xsn)
    datas['date']=pd.to_datetime(datas['date'],format='%Y/%m/%d')
    datas.set_index('date', drop=True)
/ @! [6 F! n3 @+ E    # 找到全部公司名称代号
% Q0 Q5 B# {) J! [    code_list = list(set(list((datas['code']))))
    for name in code_list:
        tmp_datas = datas[datas['code'] == name]
5 R! C; o* e4 w9 G1 `/ u        tmp_datas.index = range(len(tmp_datas))
        # 转换日期未object类型
* A8 x! o) O) Z$ F5 H7 @! e2 E        tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
; i* K9 q: T7 C& q5 b% h( t        count1 = tmp_datas['tax_status'].value_counts()
        tmp_datas['a_count'] = list(count1)[0]
" u" d; `) w( s) F        if(len(count1) > 1):
            tmp_datas['b_count'] = list(count1)[1]
        tmp2 = tmp_datas[tmp_datas['cost'] < 0]
' y# t2 `8 a# k- ^9 S. S2 Q        tmp_datas['neg_value_tax'] = len(tmp2)
0 g+ ]& D8 U5 ?$ ^9 Z        if xsn == sn.sheet_names[1]:
2 ?- z) ?2 D: @            tmp_datas.to_excel(writer1,sheet_name=name,index=False)
        else:
) g, D( C2 t$ S            tmp_datas.to_excel(writer2,sheet_name=name,index=False)
; Y, d7 \7 {8 }1 H- z9 r1 e+ l负数发票：在之前购买的物品，并开具了相关正向发票，后来退货所以开具了值为负数的发票，抵消前面正数发票的值。

9 `: ]1 `; Y4 ]% Z+ D
( g' W+ y- O) O/ `9 D% {; Y提取到信息：

8 c/ B5 ]& L3 i# ?2 q
部分公司数据记录很少，或者时间跨度大，需要综合数据指标，抵消数据数量和跨度大的影响
有些负数发票，在之前找不到对应的正数发票，可能是因为在数据记录日期之前购买的，在之后退款，因此在附件中找不到记录。
问题一
建立指标
进项发票作废率，进项负数发票率，进项每月平均交易额，进项每月交易次数，
2 D+ ~2 N( w  ^& H# `4 U5 s  t6 D

销项发票作废率，销项负数发票率，销项每月平均交易额，销项每月交易次数，销售收入增长率


3 f+ y- r1 T" U0 i提取出相关指标到附件
& }" ?& j( ?2 n$ H' k3 }5 h  r
+ ]( p! p, s; h5 U& F$ g
" Z# ~' D0 c! o$ k7 g% {& t- gfor xsn in sn.sheet_names[1:]:
    # 读取文件
6 q6 G/ I, v3 c0 F* m1 F7 G( P5 M9 S6 z    datas = pd.read_excel(file_pos, sheet_name=xsn)
5 ~2 a# c& _% T    code_list = list(set(list((datas['code']))))
    for name in code_list:
9 Y! g2 r2 A- }* S8 i; u6 L        tmp_datas = datas[datas['code'] == name]
        tmp_datas.index = range(len(tmp_datas))
        insert_datas.append(name)
        # 作废数
        cacel_count = len(tmp_datas[tmp_datas['tax_status'] == 'b'])
8 O1 ^" v8 a4 O1 s8 z        # 有效数
        valid_count = len(tmp_datas[tmp_datas['tax_status'] == 'a'])
  p: c  [  {3 O: ^5 z        # 发票作废率
$ _& H8 L, A+ I1 G8 E. M' g3 w        count1 = (cacel_count / (cacel_count + valid_count))*100
        # 负数发票数
8 m, z1 V4 a" Z2 ~: S: R        neg_count = len(tmp_datas[tmp_datas['cost'] < 0])
        # 负数发票率
* O  Z8 G% L9 k0 o6 I2 f; p5 e8 Q        count2 = (neg_count / valid_count) * 100
        # 转换时间
        tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
8 I' u( r. X8 I4 K( ^( C        # 时间最大值
  R6 g+ ^7 z0 @) s        max_time = tmp_datas.iloc[0:,1].max()
- Z: g2 F- m; \0 t, U* n& W( g0 `        # 时间最小值
- n0 H" @  a+ f& u+ h        min_time = tmp_datas.iloc[0:,1].min()
        # 时间差
- E! G! I5 h3 B5 C        diff_time = months(max_time, min_time) + 1
  U( Z3 b% |# Q( i) n8 G        # 有效票
        valid_tax = tmp_datas[tmp_datas['tax_status'] == 'a']
        # 平均月交易额
        avg_money = valid_tax['totle_cost'].sum() / diff_time
* H7 E  y+ C& \  X# q        # 平均每月交易次数
9 ^( E. u8 z* c0 m/ B        trans_count = len(tmp_datas) / diff_time
        insert_datas += [count1, count2, avg_money, trans_count,]
        if flag:
: \( B$ N  ?& K5 \$ `2 @4 h            df1.loc[len(df1)] = insert_datas
0 R+ z+ V$ I4 {# n% g; K1 Y4 }            df1.to_excel(writer1,sheet_name='进项信息',index=False)
        else:
            merge_time = tmp_datas.groupby(tmp_datas['date']).sum()
( f, f- O2 [6 D! c4 \* \            # 销售收入增长率
            income_info= list((merge_time['cost'] - merge_time['cost'].shift(1)).fillna(1))
5 R( p# c$ c+ v, k! a6 h; k            diff_time_day = days(max_time,min_time)
# T8 `6 V; j9 [0 ?9 t' a            income_tax = (sum(income_info) / diff_time_day)*100
            insert_datas.append(income_tax)
            df2.loc[len(df2)] = insert_datas
0 X  ]' A2 _; g- X& Z/ m            df2.to_excel(writer1,sheet_name='销项信息',index=False)
        insert_datas = []
! x" i2 H. Y: L' o( T0 w    flag = False


6 d6 |5 O6 ~# `$ Y" S
7 @& e7 ?* V+ u
$ w( W7 M: B6 J- Y+ \6 c并将是否违约插入到最后一列

, R1 n& r1 V& H7 n9 s" k8 g3 n
# 提取是否违约的列表
: E  f# n! J, w0 pm = []
. _5 S* e* y# g, e- M) cfor name in code_list:
3 q: l+ o; k1 l6 t    m.append(datas[datas['code']==name]['break_contract'].tolist()[0])
" j6 o0 k% \, I0 f; P% P/ P    df1.loc[:,len(df1)] = m
+ q; {9 U6 Q, T( T! o    df1.to_excel(writer3,sheet_name='sheet1',index=False)
0 f8 y( H: T: p, r* n, W) ]$ K建立模型
Logistics违约率预测模型
使用Logistics违约预测模型，代入所有的指标数据为自变量，是否违约为因变量，预测出违约率。


X=datas[['进项发票作废率','进项负数发票率','进项每月平均交易额','进项每月交易次数','销项发票作废率','销项负数发票率','销项每月平均交易额','销项每月交易次数','销售收入增长率']]
y=datas['是否违约']
X_train, X_test, y_train, y_test = train_test_split(X,y, test_size=0.2,random_state=2020)
X_validation, X_test, y_validation, y_test = train_test_split(X_test,y_test, test_size=0.1,random_state=2020)
' n% D& [! D/ J$ q+ R1 x3 h9 @model = LogisticRegression()
model.fit(X_train,y_train)
a=model.predict_proba(X_validation)
" [! c0 C9 V4 y# ?2 {result=[]
for i in range(len(a)):
; R' g; u7 ~( [' t5 r4 _if a[1]>0.5:
    result.append(1)
else:
3 r/ A+ Z1 `/ j. R    result.append(0)
from sklearn import metrics
print('误差: %.4f' % (1-metrics.recall_score(y_validation,result,average='weighted')))
最终得到一张我们的分析表格

) V) y2 G$ C( c/ Z1 [2 H/ J

( Y  V0 G5 _5 t5 |) y
- W2 \. M/ B9 o1 P4 J2 `7 o. N/ |
; Y4 Y; z  k6 \8 F) R2 U
  b1 a; ]0 b6 T通过预测是否违约，我们就能解决贷不贷款的问题。
( P* r- C$ K' T) t

贷款金额
# a' [1 j: \& a- k1 y5 t7 w8 `' }贷款金额的确认，根据该公司不违约率在所有公司中的权重，乘以总贷款金额确认：



; i: G8 |& e# e) w6 Q" A
- H9 }4 H( d! Y. L! n
ri=1−Zi∑123j=1(1−Zi)×M
ri=1−Zi∑j=1123(1−Zi)×M
/ F5 Z# `1 o7 {+ X$ M; A0 P因此，我们得到的贷款金额是违约率和贷款总金额组成的关系式，这在第二问中能起到重要作用。
& S  b' b# u5 F3 T' \' S7 a

贷款年利率
绘制出年利率与客户流失率图，可以分析出两者应该是有关系的。利用SPSS拟合出不同信誉等级，年利率与客户流失率的关系式。
1 I! I8 m- v' b
) d* I) s; ]7 a) v% t/ I
信誉等级        R平方        关系式
A        0.9977        y = 37.97x^3-258.57x^2+640.944*x -1.121
9 o! K9 Q4 W- I' T$ jB        0.9982        y = 33.995x^3-225.051x^2+552.829*x-1.017
C        0.9982        y = 32.157x^3-207.386x^2+504.717*x-0.973
银行获利=贷款金额x贷款年利率x(1-利率对于信誉评级客户流失率)
, S5 M& x: v3 F+ F0 [
# F" [- `5 o2 z& s- R  m" c3 v
! E: c: F" X: Y, g在贷款金额确认，贷款年利率范围在0.4~1.5的情况下，利用上面拟合的关系式，我们能够暴力跑出最优年利率。


/ l3 ~5 b% ^# T- Q; Cdouble turnover_rate(double x, char ch) {
        double y = 0, result = 0;
) ~+ x: J0 I1 a8 {- c  B; p4 y  I        switch (ch) {
        case 'A':
' o4 X, \- l5 y; V                y = 37.969520 * pow(x, 3) - 258.570452 * pow(x, 2) + 640.944427 * x - 1.121484;
                result = x * (1 - y / 100.0);
, n+ _6 v, l; T7 C0 U9 \3 G                break;
3 B- {) Y7 O6 b2 z, I        case 'B':
3 R) z0 K" h0 [$ _                y = 33.994698 * pow(x, 3) - 225.050538 * pow(x, 2) + 552.829151 * x - 1.016503;
' j& @' W5 R' m+ h                result = x * (1 - y / 100.0);
                break;
) x& k5 e4 N  ~2 v        case 'C':
+ n. ]+ f) G; G, ]/ O                y = 32.156864 * pow(x, 3) - 207.385880 * pow(x, 2) + 504.716993 * x - 0.973497;
& m' C7 T/ s! i1 Y# J! n" ]$ l                result = x * (1 - y / 100.0);
9 p3 a! D$ L! c1 ]9 ?0 q2 J8 F                break;
0 C. F+ B* s( e7 E/ O* `  y* E8 A$ T        default:
* G: h6 u8 G; i% p                cout << "输出有误！"  << ch << endl;
$ o# ~2 E2 L3 \' a        }
/ N* B# I' w7 n  ]* H, X1 |
        return result;
}
1 f9 |1 @' A  {! v  W  [
: U) G( R9 u' G5 [- _* e, n

& l# q- c" V$ \' j7 ?- z
问题二
利用代码，重新计算出各指标数据
& ^& u) e. C* q7 t$ h0 {7 x' j代入Logistics违约率预测模型，预测出各公司的违约率
. H+ N( i9 ]4 R3 F% R4 t, ?& Y根据标准普尔评级建立，主标尺，对不同违约率进行A~D等级划分，信誉等级D不予贷款
% @2 [* t4 t  p/ A' p' V将违约率代入，之前得到的公式，得到具体贷款金额
最优年利率沿用上一问
# 信用等级
7 c8 B* D* U% ]  ics = []
# 最优年利率,客户流失率,利率值
tax = []
for i in m:
    if i <= 0.0069264:
        cs.append('A')
        tax.append([0.083,0.503173,0.0412366])
    elif i > 0.0069264 and i <= 0.22619:
0 |8 O0 I9 ]( K* K! {; v        cs.append('B')
+ J- O! r0 M0 X7 [, X        tax.append([0.097,0.505215,0.0479942])
5 |* u" u3 H: U+ D* N# d5 e! i    elif i > 0.22619 and i <= 0.509915:
* h6 }. J% j8 u" ]/ k, b( m0 A% L        cs.append('C')
) x0 a0 M: ]* Z' P0 Q        tax.append([0.1069,0.506501,0.052755])
) q) ?3 q* l2 {1 G+ F: {- z0 l6 t    elif i > 0.509915:
        cs.append('D')
$ o! e: a& ?( R# y        tax.append([0.15,0,0])
9 j+ ]" X4 o! c: Z& J2 K    else:
7 m% R4 E* K- y        print('违规')
0 K; F# _2 O. p/ X/ X  ^        
parr = []
for arr in list(a):
    parr.append(list(arr)[0])
- C( \2 N! o8 X0 `" L$ m) m1 Q+ vsum_val = sum(parr)
amount = []
for ival in parr:
    tmp = ival / sum_val * 100000000
    if ival < 1 - 0.509915:
            amount.append(0)
) _' o+ r; d- O    else:
            amount.append(tmp)
. {. }6 x$ b; W0 Y9 h4 q9 A. t
; n. ]- v" W1 A% I


1 [0 f2 @/ Q2 [9 ~1 W; W$ K$ g; a- N可以看到，贷款金额也都在10w~100w之内。


问题三
这一问，我们做得有些匆忙了，有其他想法的可以按照自己的想法做做，这里只拿我们的做参照。
; b! O  U  z( E3 P  G
8 m! r! O: ~% v
疫情对公司影响最大的就是每月平均销售额和每月平均销售数量，因此，

8 ]5 x+ \: ^: t# x
对每月平均销售额和每月平均销售数量，分别取随机数，数量取10w组，其他指标数据值不变，是否违约数据根据第二问结果，设为初始值
代入Logistics模型中，预测出每一组的违约率
判断每个公司违约率的变化情况，根据变化情况来增/减贷款金额和年利率。
rand_num = pro_rand()

data_form = {'E377':[], 'E311':[], 'E297':[], 'E386':[], 'E233':[], 'E367':[], 'E194':[], 'E196':[], 'E249':[], 'E205':[], 'E159':[], 'E300':[], 'E346':[], 'E395':[], 'E360':[], 'E200':[], 'E195':[], 'E247':[], 'E317':[], 'E303':[], 'E135':[], 'E217':[], 'E298':[], 'E325':[], 'E335':[], 'E157':[], 'E287':[], 'E270':[], 'E286':[], 'E212':[], 'E261':[], 'E423':[], 'E390':[], 'E189':[], 'E129':[], 'E366':[], 'E191':[], 'E246':[], 'E406':[], 'E357':[], 'E349':[], 'E387':[], 'E372':[], 'E385':[], 'E209':[], 'E267':[], 'E414':[], 'E316':[], 'E341':[], 'E281':[], 'E206':[], 'E363':[], 'E166':[], 'E190':[], 'E140':[], 'E130':[], 'E225':[], 'E347':[], 'E356':[], 'E185':[], 'E192':[], 'E207':[], 'E234':[], 'E136':[], 'E379':[], 'E274':[], 'E383':[], 'E242':[], 'E361':[], 'E408':[], 'E198':[], 'E204':[], 'E413':[], 'E389':[], 'E253':[], 'E226':[], 'E231':[], 'E182':[], 'E318':[], 'E392':[], 'E275':[], 'E425':[], 'E388':[], 'E305':[], 'E155':[], 'E348':[], 'E400':[], 'E256':[], 'E351':[], 'E201':[], 'E345':[], 'E278':[], 'E306':[], 'E308':[], 'E215':[], 'E382':[], 'E407':[], 'E376':[], 'E291':[], 'E369':[], 'E139':[], 'E296':[], 'E260':[], 'E145':[], 'E257':[], 'E216':[], 'E125':[], 'E312':[], 'E354':[], 'E380':[], 'E326':[], 'E268':[], 'E186':[], 'E179':[], 'E223':[], 'E319':[], 'E422':[], 'E224':[], 'E151':[], 'E293':[], 'E302':[], 'E309':[], 'E378':[], 'E373':[], 'E364':[], 'E144':[], 'E162':[], 'E208':[], 'E399':[], 'E355':[], 'E197':[], 'E375':[], 'E368':[], 'E334':[], 'E172':[], 'E254':[], 'E352':[], 'E230':[], 'E313':[], 'E255':[], 'E273':[], 'E220':[], 'E169':[], 'E126':[], 'E237':[], 'E153':[], 'E164':[], 'E344':[], 'E284':[], 'E320':[], 'E328':[], 'E143':[], 'E338':[], 'E290':[], 'E251':[], 'E314':[], 'E330':[], 'E424':[], 'E183':[], 'E248':[], 'E181':[], 'E271':[], 'E403':[], 'E359':[], 'E324':[], 'E304':[], 'E213':[], 'E412':[], 'E337':[], 'E235':[], 'E371':[], 'E283':[], 'E391':[], 'E370':[], 'E173':[], 'E158':[], 'E171':[], 'E299':[], 'E310':[], 'E174':[], 'E295':[], 'E402':[], 'E419':[], 'E327':[], 'E294':[], 'E339':[], 'E203':[], 'E285':[], 'E410':[], 'E241':[], 'E152':[], 'E228':[], 'E245':[], 'E263':[], 'E404':[], 'E160':[], 'E292':[], 'E397':[], 'E329':[], 'E163':[], 'E301':[], 'E365':[], 'E178':[], 'E288':[], 'E175':[], 'E211':[], 'E252':[], 'E276':[], 'E156':[], 'E232':[], 'E321':[], 'E128':[], 'E150':[], 'E148':[], 'E161':[], 'E222':[], 'E142':[], 'E134':[], 'E238':[], 'E396':[], 'E239':[], 'E227':[], 'E147':[], 'E188':[], 'E243':[], 'E401':[], 'E362':[], 'E418':[], 'E272':[], 'E333':[], 'E405':[], 'E416':[], 'E358':[], 'E202':[], 'E259':[], 'E180':[], 'E409':[], 'E244':[], 'E394':[], 'E282':[], 'E210':[], 'E124':[], 'E398':[], 'E374':[], 'E277':[], 'E265':[], 'E421':[], 'E342':[], 'E322':[], 'E165':[], 'E340':[], 'E381':[], 'E331':[], 'E280':[], 'E393':[], 'E353':[], 'E221':[], 'E219':[], 'E323':[], 'E336':[], 'E199':[], 'E170':[], 'E137':[], 'E168':[], 'E350':[], 'E141':[], 'E214':[], 'E177':[], 'E250':[], 'E269':[], 'E167':[], 'E307':[], 'E420':[], 'E411':[], 'E262':[], 'E176':[], 'E218':[], 'E229':[], 'E315':[], 'E264':[], 'E127':[], 'E132':[], 'E154':[], 'E133':[], 'E332':[], 'E138':[], 'E258':[], 'E266':[], 'E236':[], 'E415':[], 'E146':[], 'E193':[], 'E187':[], 'E384':[], 'E417':[], 'E289':[], 'E279':[], 'E131':[], 'E184':[], 'E240':[], 'E149':[], 'E343':[]}
df = DataFrame(data_form)

for val in rand_num:
        a = rate_func(val)
        rate_list = get_rate(a)
% H+ @  u$ D9 ?! |' E4 W6 f        df.loc[len(df)]  = rate_list
5 f$ ?! u% q3 n8 ~: U        df.to_excel(writer,sheet_name='违约率变化',index=False)
销售数量和销售金额的随机数范围是：0~MAX
$ V- u+ Y( P7 a
% o& R" z- k; V  Q# ?


% F$ f7 i0 P) q4 b" z0 N————————————————
' S9 `! W+ R9 L+ n6 O7 k! R+ e& p版权声明：本文为CSDN博主「Hk_Mayfly」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
1 j% s+ K, K3 \  Q2 A9 m原文链接：https://blog.csdn.net/qq_39542714/article/details/108592087
: V3 V$ j* c2 q3 I9 N


3 w0 N- I( s( i( i