2020 全国大学生数学建模竞赛C题思路+代码

杨利霞

2020 全国大学生数学建模竞赛C题思路+代码
题目链接：https://cloud.189.cn/t/ri2uUb7BRVJr
. g3 A! f4 M! h  I5 g3 o& ^" r# ]' ]: A

前言
2 x/ d0 Z& d1 k" X) I; S1 c
" ~& q) B& k9 U; k( O4 p
7 I, G2 m1 Z+ `+ U2 K

" r9 A! p  [" K; D' {又是一年数据挖掘题型，第一次接触这种题型还是在去年的mathorcup上，这种题的难度就在于指标的建立和数据的处理上。后面会出一份关于数据挖掘题型，我的相关经验，常用的工具和代码。

4 H& v. \7 j& I+ I7 l$ f
下面的一，二问实际都在解决

, T: D2 Y1 w1 i: @
/ W% g2 \6 Q" f6 Z9 E# |贷不贷款？
贷款金额多少？
$ g6 B; T% C7 {0 q0 \6 N( ~! i' M数据清洗
这道题的附件数据没有出现缺省或者异常数据，因此对于数据的预处理，更多的是根据问题的需求来做的。

' ^. x8 D. K( [4 B  P4 V
3 `" ^+ d1 j( v+ \( I1 w# v: p将是否违约，违约设置为1，不违约设置为0
1 M( ]' y  O& R' I# m4 ?

信誉等级ABCD分别对应4,3,2,1
5 m. G& }. r# P' s& o
+ K/ g3 i) c* p7 D; p
发票状态，有效发票为a，作废发票为b
' J% O# _/ Z9 Y

( k; h) y+ p- h' p: E* Q* P1 }# W1 R我将销项和进项所有数据，以公司代码为区别，提取到了不同的sheet当中，对于该公司有效发票数，作废发票数，负数发票数，方便对数据观察。
& {& ]( v* B4 i
4 W2 Q5 g: h8 @+ {9 Y& t8 |9 }! f* o2 a7 t
6 N8 @+ y+ b: g; p, k4 V# 遍历所有sheet数据
for xsn in sn.sheet_names[1:]:
    # 读取文件
    datas = pd.read_excel(file_pos, sheet_name=xsn)
    datas['date']=pd.to_datetime(datas['date'],format='%Y/%m/%d')
    datas.set_index('date', drop=True)
    # 找到全部公司名称代号
4 g3 a, X2 ?& N8 |    code_list = list(set(list((datas['code']))))
8 u% v4 Y- l6 k% k# E    for name in code_list:
0 D! B6 C1 E) i$ |5 c& _4 c9 O        tmp_datas = datas[datas['code'] == name]
        tmp_datas.index = range(len(tmp_datas))
        # 转换日期未object类型
        tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
        count1 = tmp_datas['tax_status'].value_counts()
6 d+ I% j, |. z; o' z/ ^" o        tmp_datas['a_count'] = list(count1)[0]
        if(len(count1) > 1):
9 Y3 U* c7 Y0 h' \2 u8 P3 S! _  ~& X            tmp_datas['b_count'] = list(count1)[1]
        tmp2 = tmp_datas[tmp_datas['cost'] < 0]
5 q, f+ g6 A8 C' x) m/ A0 A        tmp_datas['neg_value_tax'] = len(tmp2)
; n5 y( C. c+ f2 x" X        if xsn == sn.sheet_names[1]:
3 a$ j. r' g9 |            tmp_datas.to_excel(writer1,sheet_name=name,index=False)
        else:
& j) [+ T. j/ U: b& b            tmp_datas.to_excel(writer2,sheet_name=name,index=False)
: x/ \6 `8 o8 [负数发票：在之前购买的物品，并开具了相关正向发票，后来退货所以开具了值为负数的发票，抵消前面正数发票的值。


1 r% t$ p( w9 u- `4 ^; ?提取到信息：


! B+ G. k: J3 q+ j4 |3 G8 x* J部分公司数据记录很少，或者时间跨度大，需要综合数据指标，抵消数据数量和跨度大的影响
9 m3 r2 S$ G0 c- p( y, t1 a) T( B有些负数发票，在之前找不到对应的正数发票，可能是因为在数据记录日期之前购买的，在之后退款，因此在附件中找不到记录。
9 J7 f3 A7 ]" o. c" `5 r问题一
- i. x+ T7 S; t2 A) J' A建立指标
进项发票作废率，进项负数发票率，进项每月平均交易额，进项每月交易次数，
7 t) v. W# V. `7 r# C0 w4 p1 a$ g2 n" |
% N- W' ]6 S& l) [# q7 K6 v
$ P0 o" l6 }" K- M# w& b销项发票作废率，销项负数发票率，销项每月平均交易额，销项每月交易次数，销售收入增长率
6 y1 D6 y- C; `0 L* u5 N

提取出相关指标到附件


2 r. ^# b9 k- f0 M# s7 P, l8 \for xsn in sn.sheet_names[1:]:
! A9 o( B2 K. {5 s, g* X    # 读取文件
; H% r) C" D6 v  n: r- [; y    datas = pd.read_excel(file_pos, sheet_name=xsn)
    code_list = list(set(list((datas['code']))))
    for name in code_list:
  D* ?# k7 G6 ]! K9 Q        tmp_datas = datas[datas['code'] == name]
* b0 n7 K+ A7 T! x. J        tmp_datas.index = range(len(tmp_datas))
        insert_datas.append(name)
8 V4 k4 r0 P/ F) Q* w) k  y+ |        # 作废数
! j9 a2 F! b1 _" F$ x+ M# M/ L        cacel_count = len(tmp_datas[tmp_datas['tax_status'] == 'b'])
. ]! `) H8 Q" n, w        # 有效数
        valid_count = len(tmp_datas[tmp_datas['tax_status'] == 'a'])
        # 发票作废率
        count1 = (cacel_count / (cacel_count + valid_count))*100
        # 负数发票数
1 c4 T5 G6 @  B* _( i+ x: b; o        neg_count = len(tmp_datas[tmp_datas['cost'] < 0])
1 `& K. J1 _- D- |        # 负数发票率
        count2 = (neg_count / valid_count) * 100
* w- i7 R/ N4 U5 _$ v  x0 d        # 转换时间
) m- e5 F/ p: y' t& {  n7 ~        tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
        # 时间最大值
        max_time = tmp_datas.iloc[0:,1].max()
( m8 e! ]2 ~; L        # 时间最小值
        min_time = tmp_datas.iloc[0:,1].min()
2 p* v4 x; Z4 O7 Y- D        # 时间差
        diff_time = months(max_time, min_time) + 1
' S, P. n) C2 |  l& t4 G        # 有效票
0 [: E6 G. U! @8 N% K! D' _& {        valid_tax = tmp_datas[tmp_datas['tax_status'] == 'a']
- _3 n! k0 e; n8 B/ o4 z+ ]3 q        # 平均月交易额
$ ]  Q6 v0 H& h& l5 W3 g% }& l        avg_money = valid_tax['totle_cost'].sum() / diff_time
" f7 g( N) z# R" o        # 平均每月交易次数
- @  h: V- y, K6 a        trans_count = len(tmp_datas) / diff_time
        insert_datas += [count1, count2, avg_money, trans_count,]
7 X% l: p7 C* J        if flag:
            df1.loc[len(df1)] = insert_datas
3 {5 m3 ?) V5 V            df1.to_excel(writer1,sheet_name='进项信息',index=False)
        else:
            merge_time = tmp_datas.groupby(tmp_datas['date']).sum()
            # 销售收入增长率
2 B, m% W- G' c+ [) E6 Y/ f3 w            income_info= list((merge_time['cost'] - merge_time['cost'].shift(1)).fillna(1))
9 O1 \1 s1 k2 V4 F+ Y9 i$ K; Y            diff_time_day = days(max_time,min_time)
5 ~: }8 o1 L0 D2 x) @            income_tax = (sum(income_info) / diff_time_day)*100
            insert_datas.append(income_tax)
            df2.loc[len(df2)] = insert_datas
2 H2 ?" P: @$ _7 [/ c            df2.to_excel(writer1,sheet_name='销项信息',index=False)
* _* w9 e3 q5 m        insert_datas = []
0 d% K9 r1 v1 Z0 I' [6 A    flag = False
% d% {2 C4 v. @8 Q5 o* D' u

. Q) G9 V6 i  T8 [8 o" D

# l4 R5 [& r5 r0 I* {并将是否违约插入到最后一列


: L$ @2 N1 Q6 ^# 提取是否违约的列表
/ i" n5 b0 G9 m) ^4 {+ xm = []
for name in code_list:
    m.append(datas[datas['code']==name]['break_contract'].tolist()[0])
    df1.loc[:,len(df1)] = m
) z! C5 }" _& Q7 ^/ a) L    df1.to_excel(writer3,sheet_name='sheet1',index=False)
( E0 ~" y/ C% X2 m建立模型
! f4 I" a& b' xLogistics违约率预测模型
% l3 X' H) X" ]* k: W使用Logistics违约预测模型，代入所有的指标数据为自变量，是否违约为因变量，预测出违约率。
) {1 W; T1 d3 b8 o
' s1 l! s. ]% a
4 |- z/ ~4 d3 N" d6 b3 x" X9 @X=datas[['进项发票作废率','进项负数发票率','进项每月平均交易额','进项每月交易次数','销项发票作废率','销项负数发票率','销项每月平均交易额','销项每月交易次数','销售收入增长率']]
y=datas['是否违约']
X_train, X_test, y_train, y_test = train_test_split(X,y, test_size=0.2,random_state=2020)
$ }$ l9 g: U6 a& `: ZX_validation, X_test, y_validation, y_test = train_test_split(X_test,y_test, test_size=0.1,random_state=2020)
" ?! B  r; }5 Q2 l1 J9 gmodel = LogisticRegression()
# C) ]% F1 S! O' x( g' K& o0 Umodel.fit(X_train,y_train)
a=model.predict_proba(X_validation)
result=[]
( I# r$ e- H4 c+ Yfor i in range(len(a)):
5 I6 u, z; t  l+ [5 }' s3 f6 Nif a[1]>0.5:
: i: E; B2 F% ^3 _2 v- x    result.append(1)
. @4 f+ |! I1 kelse:
: I6 w" I7 {3 i8 l; p: q    result.append(0)
# N8 w- Z) @. E0 O* G$ o9 qfrom sklearn import metrics
. K8 e5 G1 a) o1 x8 V4 oprint('误差: %.4f' % (1-metrics.recall_score(y_validation,result,average='weighted')))
最终得到一张我们的分析表格
) z- Q3 x0 z. R* A% @: `' k
- R+ C; L, `6 F$ F2 \( K
: v; ^$ G; ]2 \5 T- X

0 D2 c$ [3 a3 e7 E. Z
' x6 F" r( u5 _$ f" H# ^* T
/ N% V6 Q0 P0 j+ P通过预测是否违约，我们就能解决贷不贷款的问题。

( R" i' \5 I3 H, W5 b
$ m8 O- I- ?/ q) ]: Y9 B贷款金额
贷款金额的确认，根据该公司不违约率在所有公司中的权重，乘以总贷款金额确认：

% d/ v3 B' X5 p" r

+ I+ a; |( {9 J/ I- O. m5 {
- j, ], q& R; J* y4 Y5 W0 Z. d1 t
ri=1−Zi∑123j=1(1−Zi)×M
& v! ~1 f# W0 f% wri=1−Zi∑j=1123(1−Zi)×M
因此，我们得到的贷款金额是违约率和贷款总金额组成的关系式，这在第二问中能起到重要作用。
# j  g, h) [& G* e1 u" W

/ J$ T7 y0 O' M0 V' P' `贷款年利率
绘制出年利率与客户流失率图，可以分析出两者应该是有关系的。利用SPSS拟合出不同信誉等级，年利率与客户流失率的关系式。
# ]! `9 n2 ]$ \1 n5 r( o
8 \/ h+ N) n' s% q
信誉等级        R平方        关系式
9 _& A, h4 ?0 x1 w) tA        0.9977        y = 37.97x^3-258.57x^2+640.944*x -1.121
B        0.9982        y = 33.995x^3-225.051x^2+552.829*x-1.017
$ \, W( H0 j3 Q5 P6 a' |( r9 ]C        0.9982        y = 32.157x^3-207.386x^2+504.717*x-0.973
: c" T. \9 D8 [银行获利=贷款金额x贷款年利率x(1-利率对于信誉评级客户流失率)
- q; x6 o4 ?4 F2 ?% m# }

在贷款金额确认，贷款年利率范围在0.4~1.5的情况下，利用上面拟合的关系式，我们能够暴力跑出最优年利率。
1 u5 p& k) p! S7 ^  t! C
- D; N: J6 `4 d- l$ k- G
2 v- ^$ B1 I' r9 P5 Edouble turnover_rate(double x, char ch) {
4 G/ d4 B# w/ F4 ]! Y( r; M& A: |        double y = 0, result = 0;
' z* S$ U/ a+ ~; c5 O4 P" a        switch (ch) {
        case 'A':
                y = 37.969520 * pow(x, 3) - 258.570452 * pow(x, 2) + 640.944427 * x - 1.121484;
                result = x * (1 - y / 100.0);
1 t, q9 J2 R) S* k; {                break;
  }! l! t- S- j  V- F        case 'B':
                y = 33.994698 * pow(x, 3) - 225.050538 * pow(x, 2) + 552.829151 * x - 1.016503;
$ @9 D4 p* @: X; n: ]                result = x * (1 - y / 100.0);
% l- k0 f6 p* ^0 o, h! O) S                break;
        case 'C':
                y = 32.156864 * pow(x, 3) - 207.385880 * pow(x, 2) + 504.716993 * x - 0.973497;
                result = x * (1 - y / 100.0);
                break;
        default:
7 V4 _( h: P- s" X) Q" L9 Y                cout << "输出有误！"  << ch << endl;
        }
. V0 |* j1 b. Y9 \* m! f/ _( B0 B$ _4 o! G: A
  o1 ^" r: r5 q8 f2 ?        return result;
# G. J" I. z7 `3 b}
* i% w, m6 F6 a; S/ B$ `9 o9 _



问题二
: \9 Q0 Z$ A& Q- i: a利用代码，重新计算出各指标数据
代入Logistics违约率预测模型，预测出各公司的违约率
根据标准普尔评级建立，主标尺，对不同违约率进行A~D等级划分，信誉等级D不予贷款
将违约率代入，之前得到的公式，得到具体贷款金额
* Q4 o! A! M- d4 p/ }. N! b$ x2 C最优年利率沿用上一问
# 信用等级
% K, j% W( x, b  c) L( xcs = []
& J6 w) ~+ C  S/ e# 最优年利率,客户流失率,利率值
tax = []
for i in m:
# j8 p8 D5 l: R4 n6 \    if i <= 0.0069264:
3 x' B' R! `, s4 Q; B        cs.append('A')
+ i& I3 s* s4 z' Q7 a, e8 Y6 p        tax.append([0.083,0.503173,0.0412366])
    elif i > 0.0069264 and i <= 0.22619:
        cs.append('B')
        tax.append([0.097,0.505215,0.0479942])
( H6 ~2 H0 v# n# ?8 d    elif i > 0.22619 and i <= 0.509915:
  u& y/ A. W& ~) d2 j; u% r6 w        cs.append('C')
  D) Z, @% P/ a7 g) X; s        tax.append([0.1069,0.506501,0.052755])
( g) {  ^; e3 v7 c    elif i > 0.509915:
        cs.append('D')
5 r% F! F. l2 [( _. H! k        tax.append([0.15,0,0])
    else:
+ r8 W6 h: i3 [3 W) Q, |2 Y/ E1 ~        print('违规')
        
parr = []
for arr in list(a):
    parr.append(list(arr)[0])
sum_val = sum(parr)
: d: o- N0 U: b; @. c/ C) s2 ^: Q9 mamount = []
for ival in parr:
    tmp = ival / sum_val * 100000000
2 w  {! m6 R, a) g    if ival < 1 - 0.509915:
& w# f. ?$ g! _; R            amount.append(0)
1 g9 X# O" m  c* V4 B    else:
            amount.append(tmp)




8 E- _- v, D. j; J可以看到，贷款金额也都在10w~100w之内。
5 T+ p* n) d" Y2 x: {4 V; y. ^

0 q. v6 Y3 k$ }3 O- p# i8 v问题三
这一问，我们做得有些匆忙了，有其他想法的可以按照自己的想法做做，这里只拿我们的做参照。
  m1 p7 \  f  ?# {+ V7 i9 m
' j% ]# {' w5 [# ^0 X- {7 v
" B- e7 g% m3 F# v" Y2 E疫情对公司影响最大的就是每月平均销售额和每月平均销售数量，因此，

4 O2 X9 c: m; o6 f/ r* y# b
对每月平均销售额和每月平均销售数量，分别取随机数，数量取10w组，其他指标数据值不变，是否违约数据根据第二问结果，设为初始值
5 s/ E, g8 \2 ]) F5 q/ g代入Logistics模型中，预测出每一组的违约率
$ j; R( @$ v) S* n6 T; J% n+ Z判断每个公司违约率的变化情况，根据变化情况来增/减贷款金额和年利率。
# N7 h! |' J$ C  w+ ~rand_num = pro_rand()
+ ^4 g+ f: q. {" U8 T, q5 ~& g
! n' i+ r" K& Ydata_form = {'E377':[], 'E311':[], 'E297':[], 'E386':[], 'E233':[], 'E367':[], 'E194':[], 'E196':[], 'E249':[], 'E205':[], 'E159':[], 'E300':[], 'E346':[], 'E395':[], 'E360':[], 'E200':[], 'E195':[], 'E247':[], 'E317':[], 'E303':[], 'E135':[], 'E217':[], 'E298':[], 'E325':[], 'E335':[], 'E157':[], 'E287':[], 'E270':[], 'E286':[], 'E212':[], 'E261':[], 'E423':[], 'E390':[], 'E189':[], 'E129':[], 'E366':[], 'E191':[], 'E246':[], 'E406':[], 'E357':[], 'E349':[], 'E387':[], 'E372':[], 'E385':[], 'E209':[], 'E267':[], 'E414':[], 'E316':[], 'E341':[], 'E281':[], 'E206':[], 'E363':[], 'E166':[], 'E190':[], 'E140':[], 'E130':[], 'E225':[], 'E347':[], 'E356':[], 'E185':[], 'E192':[], 'E207':[], 'E234':[], 'E136':[], 'E379':[], 'E274':[], 'E383':[], 'E242':[], 'E361':[], 'E408':[], 'E198':[], 'E204':[], 'E413':[], 'E389':[], 'E253':[], 'E226':[], 'E231':[], 'E182':[], 'E318':[], 'E392':[], 'E275':[], 'E425':[], 'E388':[], 'E305':[], 'E155':[], 'E348':[], 'E400':[], 'E256':[], 'E351':[], 'E201':[], 'E345':[], 'E278':[], 'E306':[], 'E308':[], 'E215':[], 'E382':[], 'E407':[], 'E376':[], 'E291':[], 'E369':[], 'E139':[], 'E296':[], 'E260':[], 'E145':[], 'E257':[], 'E216':[], 'E125':[], 'E312':[], 'E354':[], 'E380':[], 'E326':[], 'E268':[], 'E186':[], 'E179':[], 'E223':[], 'E319':[], 'E422':[], 'E224':[], 'E151':[], 'E293':[], 'E302':[], 'E309':[], 'E378':[], 'E373':[], 'E364':[], 'E144':[], 'E162':[], 'E208':[], 'E399':[], 'E355':[], 'E197':[], 'E375':[], 'E368':[], 'E334':[], 'E172':[], 'E254':[], 'E352':[], 'E230':[], 'E313':[], 'E255':[], 'E273':[], 'E220':[], 'E169':[], 'E126':[], 'E237':[], 'E153':[], 'E164':[], 'E344':[], 'E284':[], 'E320':[], 'E328':[], 'E143':[], 'E338':[], 'E290':[], 'E251':[], 'E314':[], 'E330':[], 'E424':[], 'E183':[], 'E248':[], 'E181':[], 'E271':[], 'E403':[], 'E359':[], 'E324':[], 'E304':[], 'E213':[], 'E412':[], 'E337':[], 'E235':[], 'E371':[], 'E283':[], 'E391':[], 'E370':[], 'E173':[], 'E158':[], 'E171':[], 'E299':[], 'E310':[], 'E174':[], 'E295':[], 'E402':[], 'E419':[], 'E327':[], 'E294':[], 'E339':[], 'E203':[], 'E285':[], 'E410':[], 'E241':[], 'E152':[], 'E228':[], 'E245':[], 'E263':[], 'E404':[], 'E160':[], 'E292':[], 'E397':[], 'E329':[], 'E163':[], 'E301':[], 'E365':[], 'E178':[], 'E288':[], 'E175':[], 'E211':[], 'E252':[], 'E276':[], 'E156':[], 'E232':[], 'E321':[], 'E128':[], 'E150':[], 'E148':[], 'E161':[], 'E222':[], 'E142':[], 'E134':[], 'E238':[], 'E396':[], 'E239':[], 'E227':[], 'E147':[], 'E188':[], 'E243':[], 'E401':[], 'E362':[], 'E418':[], 'E272':[], 'E333':[], 'E405':[], 'E416':[], 'E358':[], 'E202':[], 'E259':[], 'E180':[], 'E409':[], 'E244':[], 'E394':[], 'E282':[], 'E210':[], 'E124':[], 'E398':[], 'E374':[], 'E277':[], 'E265':[], 'E421':[], 'E342':[], 'E322':[], 'E165':[], 'E340':[], 'E381':[], 'E331':[], 'E280':[], 'E393':[], 'E353':[], 'E221':[], 'E219':[], 'E323':[], 'E336':[], 'E199':[], 'E170':[], 'E137':[], 'E168':[], 'E350':[], 'E141':[], 'E214':[], 'E177':[], 'E250':[], 'E269':[], 'E167':[], 'E307':[], 'E420':[], 'E411':[], 'E262':[], 'E176':[], 'E218':[], 'E229':[], 'E315':[], 'E264':[], 'E127':[], 'E132':[], 'E154':[], 'E133':[], 'E332':[], 'E138':[], 'E258':[], 'E266':[], 'E236':[], 'E415':[], 'E146':[], 'E193':[], 'E187':[], 'E384':[], 'E417':[], 'E289':[], 'E279':[], 'E131':[], 'E184':[], 'E240':[], 'E149':[], 'E343':[]}
* M3 V( E) i8 ^df = DataFrame(data_form)
3 R( H( t3 {  ?8 }( W
for val in rand_num:
% {/ s# Q; {  L( }% U        a = rate_func(val)
; D3 p3 n  ^6 a5 v5 `        rate_list = get_rate(a)
2 |( c/ _( {& y. f2 x3 ^1 [+ `        df.loc[len(df)]  = rate_list
3 a0 H$ Z* ^5 Y% I# E% R        df.to_excel(writer,sheet_name='违约率变化',index=False)
9 R0 |/ P5 q& h9 A2 y* ?* ?销售数量和销售金额的随机数范围是：0~MAX


3 ^$ H: _- v( I1 J1 m1 w( j5 ^- x6 S

, \  J. h' Q  E: {. W————————————————
版权声明：本文为CSDN博主「Hk_Mayfly」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_39542714/article/details/108592087
+ X, F, c" u/ R


! k" v' d. t6 ^5 o5 O$ |+ Q: F2 A