查看: 5162|回复: 0

2020 全国大学生数学建模竞赛C题思路+代码

字体大小: 正常放大

杨利霞

5273 主题	82 听众	17万积分

TA的每日心情

	开心 2021-8-11 17:59

签到天数: 17 天

[LV.4]偶尔看看III

网络挑战赛参赛者

自我介绍: 本人女，毕业于内蒙古科技大学，担任文职专业，毕业专业英语。

群组: 2018美赛大象算法课程

群组: 2018美赛护航培训课程

群组: 2019年数学中国站长建

群组: 2019年数据分析师课程

群组: 2018年大象老师国赛优

电梯直达

1^#

发表于 2021-5-24 15:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

2020 全国大学生数学建模竞赛C题思路+代码
题目链接：https://cloud.189.cn/t/ri2uUb7BRVJr

前言

又是一年数据挖掘题型，第一次接触这种题型还是在去年的mathorcup上，这种题的难度就在于指标的建立和数据的处理上。后面会出一份关于数据挖掘题型，我的相关经验，常用的工具和代码。

下面的一，二问实际都在解决

贷不贷款？
贷款金额多少？
数据清洗
这道题的附件数据没有出现缺省或者异常数据，因此对于数据的预处理，更多的是根据问题的需求来做的。

将是否违约，违约设置为1，不违约设置为0

信誉等级ABCD分别对应4,3,2,1

发票状态，有效发票为a，作废发票为b

我将销项和进项所有数据，以公司代码为区别，提取到了不同的sheet当中，对于该公司有效发票数，作废发票数，负数发票数，方便对数据观察。

# 遍历所有sheet数据
for xsn in sn.sheet_names[1:]:
# 读取文件
datas = pd.read_excel(file_pos, sheet_name=xsn)
datas['date']=pd.to_datetime(datas['date'],format='%Y/%m/%d')
datas.set_index('date', drop=True)
# 找到全部公司名称代号
code_list = list(set(list((datas['code']))))
for name in code_list:
      tmp_datas = datas[datas['code'] == name]
      tmp_datas.index = range(len(tmp_datas))
      # 转换日期未object类型
      tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
      count1 = tmp_datas['tax_status'].value_counts()
      tmp_datas['a_count'] = list(count1)[0]
      if(len(count1) > 1):
         tmp_datas['b_count'] = list(count1)[1]
      tmp2 = tmp_datas[tmp_datas['cost'] < 0]
      tmp_datas['neg_value_tax'] = len(tmp2)
      if xsn == sn.sheet_names[1]:
         tmp_datas.to_excel(writer1,sheet_name=name,index=False)
      else:
         tmp_datas.to_excel(writer2,sheet_name=name,index=False)
负数发票：在之前购买的物品，并开具了相关正向发票，后来退货所以开具了值为负数的发票，抵消前面正数发票的值。

提取到信息：

部分公司数据记录很少，或者时间跨度大，需要综合数据指标，抵消数据数量和跨度大的影响
有些负数发票，在之前找不到对应的正数发票，可能是因为在数据记录日期之前购买的，在之后退款，因此在附件中找不到记录。
问题一
建立指标
进项发票作废率，进项负数发票率，进项每月平均交易额，进项每月交易次数，

销项发票作废率，销项负数发票率，销项每月平均交易额，销项每月交易次数，销售收入增长率

提取出相关指标到附件

for xsn in sn.sheet_names[1:]:
# 读取文件
datas = pd.read_excel(file_pos, sheet_name=xsn)
code_list = list(set(list((datas['code']))))
for name in code_list:
      tmp_datas = datas[datas['code'] == name]
      tmp_datas.index = range(len(tmp_datas))
      insert_datas.append(name)
      # 作废数
      cacel_count = len(tmp_datas[tmp_datas['tax_status'] == 'b'])
      # 有效数
      valid_count = len(tmp_datas[tmp_datas['tax_status'] == 'a'])
      # 发票作废率
      count1 = (cacel_count / (cacel_count + valid_count))*100
      # 负数发票数
      neg_count = len(tmp_datas[tmp_datas['cost'] < 0])
      # 负数发票率
      count2 = (neg_count / valid_count) * 100
      # 转换时间
      tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
      # 时间最大值
      max_time = tmp_datas.iloc[0:,1].max()
      # 时间最小值
      min_time = tmp_datas.iloc[0:,1].min()
      # 时间差
      diff_time = months(max_time, min_time) + 1
      # 有效票
      valid_tax = tmp_datas[tmp_datas['tax_status'] == 'a']
      # 平均月交易额
      avg_money = valid_tax['totle_cost'].sum() / diff_time
      # 平均每月交易次数
      trans_count = len(tmp_datas) / diff_time
      insert_datas += [count1, count2, avg_money, trans_count,]
      if flag:
         df1.loc[len(df1)] = insert_datas
         df1.to_excel(writer1,sheet_name='进项信息',index=False)
      else:
         merge_time = tmp_datas.groupby(tmp_datas['date']).sum()
         # 销售收入增长率
         income_info= list((merge_time['cost'] - merge_time['cost'].shift(1)).fillna(1))
         diff_time_day = days(max_time,min_time)
         income_tax = (sum(income_info) / diff_time_day)*100
         insert_datas.append(income_tax)
         df2.loc[len(df2)] = insert_datas
         df2.to_excel(writer1,sheet_name='销项信息',index=False)
      insert_datas = []
flag = False

并将是否违约插入到最后一列

# 提取是否违约的列表
m = []
for name in code_list:
m.append(datas[datas['code']==name]['break_contract'].tolist()[0])
df1.loc[:,len(df1)] = m
df1.to_excel(writer3,sheet_name='sheet1',index=False)
建立模型
Logistics违约率预测模型
使用Logistics违约预测模型，代入所有的指标数据为自变量，是否违约为因变量，预测出违约率。

X=datas[['进项发票作废率','进项负数发票率','进项每月平均交易额','进项每月交易次数','销项发票作废率','销项负数发票率','销项每月平均交易额','销项每月交易次数','销售收入增长率']]
y=datas['是否违约']
X_train, X_test, y_train, y_test = train_test_split(X,y, test_size=0.2,random_state=2020)
X_validation, X_test, y_validation, y_test = train_test_split(X_test,y_test, test_size=0.1,random_state=2020)
model = LogisticRegression()
model.fit(X_train,y_train)
a=model.predict_proba(X_validation)
result=[]
for i in range(len(a)):
if a[1]>0.5:
% @( ^  Y: ~, ?) `9 i result.append(1)
3 F( @( c4 t$ ~) eelse:
, |/ ]! x  ]# h7 W9 G" [; c+ [7 Q result.append(0)
2 }" Y. W6 `* tfrom sklearn import metrics
! h7 B4 e1 Q9 y! ?+ _+ B1 [+ ?print('误差: %.4f' % (1-metrics.recall_score(y_validation,result,average='weighted')))
/ F1 q* {! v3 C5 T; p  J最终得到一张我们的分析表格2 ^/ n! M2 ^( i; @4 P& M, U+ J4 @

. }8 \& ]4 o" m( t- d% W* p4 y8 `
2 g3 A# u/ F6 V2 ]/ T3 d, d4 z  ]6 ?  i* J$ o0 j# O5 A. V
, K2 |" Z; N5 j: ^) o

8 J! w- D7 F( e8 L4 F5 D( O6 ^$ e% E) Y: z
通过预测是否违约，我们就能解决贷不贷款的问题。
8 r2 q, x3 w9 @' M
! f# t! B8 m4 p; A' {, u3 A
/ @3 c% o# E) e0 {3 G1 E贷款金额* |. O0 i8 j; M; z
贷款金额的确认，根据该公司不违约率在所有公司中的权重，乘以总贷款金额确认：
8 E, e9 O" [+ D. g. J
1 ~/ C4 U. Q# C, b* i" F4 C
; C1 W' ~3 h6 Q
+ M/ H8 P3 H( d9 j/ |) ]7 G
3 m$ U, h3 q4 X: D- o" n; B' ^0 J2 r3 X* ?4 z- a' s
ri=1−Zi∑123j=1(1−Zi)×M
% l% X0 M! X/ t& j) s8 J( Ori=1−Zi∑j=1123(1−Zi)×M4 K. d! \  ?" L: f  \
因此，我们得到的贷款金额是违约率和贷款总金额组成的关系式，这在第二问中能起到重要作用。& C# ?) k3 R& G9 ^' m* i. `

4 E4 B( _! B* h" J8 {2 N0 n* ?9 D, {3 h
贷款年利率
; p/ N6 T6 n8 C" G% T" \绘制出年利率与客户流失率图，可以分析出两者应该是有关系的。利用SPSS拟合出不同信誉等级，年利率与客户流失率的关系式。& I: \: ]. I6 m8 k1 V
5 M* F( ]5 @: h$ P. n4 [  n' r6 Y# k
3 n8 P- z2 P5 q0 a4 ]$ m
信誉等级 R平方关系式
1 T* h" B2 y5 W6 s3 }A 0.9977 y = 37.97x^3-258.57x^2+640.944*x -1.121: _3 _+ o  w7 f3 U
B 0.9982 y = 33.995x^3-225.051x^2+552.829*x-1.017
( c, q0 q) S- `& C2 Q2 }$ l. PC 0.9982 y = 32.157x^3-207.386x^2+504.717*x-0.973
# ^8 v4 w2 |( b$ P% {, T银行获利=贷款金额x贷款年利率x(1-利率对于信誉评级客户流失率)
8 F& ~7 u+ G$ G0 a7 r; Y
7 J3 v7 m3 h  V$ c% h9 a) |* u. p4 H7 g$ z5 G- \
在贷款金额确认，贷款年利率范围在0.4~1.5的情况下，利用上面拟合的关系式，我们能够暴力跑出最优年利率。
- _' y0 |( `+ x: V* l) F. C( j+ C1 h1 T" C

# G" w: E" b0 o9 C2 Y* h5 Rdouble turnover_rate(double x, char ch) {
3 U( L1 @+ l6 ?* J, O  O1 c double y = 0, result = 0;
' L# Q) n: }' X switch (ch) {4 s1 m" e1 Q4 `: F
case 'A':/ f2 ]8 d; Q8 K" B$ Z0 k* i; E
y = 37.969520 * pow(x, 3) - 258.570452 * pow(x, 2) + 640.944427 * x - 1.121484;" I% G2 Z% v9 A
result = x * (1 - y / 100.0);0 F; {& ]% P! O3 `+ z/ C
break;
; Q: M8 }3 ?$ j6 j' b6 X8 r case 'B':
9 P$ Q1 D0 K* `9 n8 J y = 33.994698 * pow(x, 3) - 225.050538 * pow(x, 2) + 552.829151 * x - 1.016503;
' ~2 q8 N$ k# m. N" C result = x * (1 - y / 100.0);. ^. f) n, k7 U  ]; U
break;
% I/ Q7 _5 M$ h9 S/ H1 E# v! k case 'C':
$ N1 y+ P1 n+ D y = 32.156864 * pow(x, 3) - 207.385880 * pow(x, 2) + 504.716993 * x - 0.973497;
6 ?$ z8 Z$ x$ ^' p result = x * (1 - y / 100.0);" X- \* R" u" w9 T6 ^
break;7 C9 }; Y; V2 x3 ?9 Q& A; B, ?+ `
default:- }9 ^* [+ v# K( @: f' F: l) d
cout << "输出有误！"  << ch << endl;
" m* N8 v0 G* h$ {6 B }
4 `7 t: e0 B9 J& P3 }: ^  s7 T 6 S9 c& ?/ b( v  \- t- W
return result;4 n0 K+ c1 L9 P; Q$ j3 X3 m: }2 L7 E
}" n; a1 A1 c' l/ H) }
2 J* j, b: ^5 b8 R5 m

+ ^& c( f+ o# Y1 `! Q1 d. v  x/ g: @9 O5 t# z
1 X7 g* S' I2 W, t2 {
问题二
3 t* ~3 M, ?6 O8 @) G5 o& ]+ Y利用代码，重新计算出各指标数据" N8 y, _2 {* Z1 Z; O
代入Logistics违约率预测模型，预测出各公司的违约率
( j! O5 A5 N+ \3 M根据标准普尔评级建立，主标尺，对不同违约率进行A~D等级划分，信誉等级D不予贷款' m0 g! m! H3 _; B: h* M
将违约率代入，之前得到的公式，得到具体贷款金额
, ~' b* }- G' L最优年利率沿用上一问; Q8 p6 A" B; S' p) w
# 信用等级; c! T; F6 f4 G
cs = []$ ?/ n' P6 {( g7 E' f
# 最优年利率,客户流失率,利率值
  A4 z. C7 W8 f, J" xtax = []
/ i' _& k0 i" U' \# afor i in m:
+ J% z6 r7 x5 W if i <= 0.0069264:
2 b3 z" P  |$ _; @  l# X9 U1 B+ `       cs.append('A'). o# U& Y8 n1 `3 H- T9 N1 I
      tax.append([0.083,0.503173,0.0412366])
% S2 L! T! g  @ elif i > 0.0069264 and i <= 0.22619:
9 P; Z1 t2 v9 r1 K, p  }, N, s       cs.append('B')
* Z1 H4 t. r% X( z( c. o       tax.append([0.097,0.505215,0.0479942])" s* b" x) Y2 ]
elif i > 0.22619 and i <= 0.509915:
: a3 k) V4 A" S  Y7 a# [# W( H       cs.append('C'). Y* R5 h4 D- j
      tax.append([0.1069,0.506501,0.052755])- g! l. q! g- Y- \/ K9 W$ m3 f
elif i > 0.509915:' A: l) e' l* B. U6 [$ C
      cs.append('D')
9 w3 ?- S" s% H5 n2 g: Z, {       tax.append([0.15,0,0])
, @0 q) O3 j; u7 Z8 o1 \ else:  R3 E" F, Q  ?
      print('违规')7 c3 \9 h9 y6 ?8 c8 q! N6 E0 f

  D6 F& G# ?. q/ C( n' Wparr = []% d1 X2 [. P# T1 d% G& Z  S
for arr in list(a):! h& t) u. X! l
parr.append(list(arr)[0])
7 G+ r& T9 D3 {$ Z! e; e1 {sum_val = sum(parr)% `( q9 m; T* ]& _- E6 k) C
amount = []
/ c1 ]2 @* T5 ]for ival in parr:1 e3 h& N' c$ ]8 d3 t
tmp = ival / sum_val * 100000000
5 Z, }" {2 u1 S. z" Y if ival < 1 - 0.509915:
3 _6 x2 C7 @, Y7 I, d. c amount.append(0)8 c' y5 @4 i( ^, a
else:
+ K9 N% I6 {# v2 { amount.append(tmp). U) |+ x; ]. K/ F1 g& a4 K
" @: p( x0 ?4 }
9 T/ J3 t" j- L2 e
+ x6 N/ X. W4 \- w* d: z: y

: |3 H7 H4 i; a3 j9 N6 e可以看到，贷款金额也都在10w~100w之内。6 z6 C$ Q$ L+ z3 A
2 F# U/ [! l- o; m- R" Z

* U9 r, P+ ~9 x# u" z问题三
- C# a$ @6 l4 I! b4 m这一问，我们做得有些匆忙了，有其他想法的可以按照自己的想法做做，这里只拿我们的做参照。
6 Z: R  U* H8 R. X4 C* D, y( e* |' `+ v5 v
: s" c/ T0 [4 D* v" O5 b. U2 T
疫情对公司影响最大的就是每月平均销售额和每月平均销售数量，因此，' a4 L  F# T# I7 h- b
1 ]+ Z6 f/ z7 _' S
6 S  x' N% f; @$ K: O, V8 t" O$ e
对每月平均销售额和每月平均销售数量，分别取随机数，数量取10w组，其他指标数据值不变，是否违约数据根据第二问结果，设为初始值
6 o, z' E$ A) C代入Logistics模型中，预测出每一组的违约率
" I/ h" d8 ^# V' L% m判断每个公司违约率的变化情况，根据变化情况来增/减贷款金额和年利率。& L) k# E- n" U0 k/ G
rand_num = pro_rand()
" O/ ?( j7 `& X: n+ S" C
9 n# _, t: H, Y4 cdata_form = {'E377':[], 'E311':[], 'E297':[], 'E386':[], 'E233':[], 'E367':[], 'E194':[], 'E196':[], 'E249':[], 'E205':[], 'E159':[], 'E300':[], 'E346':[], 'E395':[], 'E360':[], 'E200':[], 'E195':[], 'E247':[], 'E317':[], 'E303':[], 'E135':[], 'E217':[], 'E298':[], 'E325':[], 'E335':[], 'E157':[], 'E287':[], 'E270':[], 'E286':[], 'E212':[], 'E261':[], 'E423':[], 'E390':[], 'E189':[], 'E129':[], 'E366':[], 'E191':[], 'E246':[], 'E406':[], 'E357':[], 'E349':[], 'E387':[], 'E372':[], 'E385':[], 'E209':[], 'E267':[], 'E414':[], 'E316':[], 'E341':[], 'E281':[], 'E206':[], 'E363':[], 'E166':[], 'E190':[], 'E140':[], 'E130':[], 'E225':[], 'E347':[], 'E356':[], 'E185':[], 'E192':[], 'E207':[], 'E234':[], 'E136':[], 'E379':[], 'E274':[], 'E383':[], 'E242':[], 'E361':[], 'E408':[], 'E198':[], 'E204':[], 'E413':[], 'E389':[], 'E253':[], 'E226':[], 'E231':[], 'E182':[], 'E318':[], 'E392':[], 'E275':[], 'E425':[], 'E388':[], 'E305':[], 'E155':[], 'E348':[], 'E400':[], 'E256':[], 'E351':[], 'E201':[], 'E345':[], 'E278':[], 'E306':[], 'E308':[], 'E215':[], 'E382':[], 'E407':[], 'E376':[], 'E291':[], 'E369':[], 'E139':[], 'E296':[], 'E260':[], 'E145':[], 'E257':[], 'E216':[], 'E125':[], 'E312':[], 'E354':[], 'E380':[], 'E326':[], 'E268':[], 'E186':[], 'E179':[], 'E223':[], 'E319':[], 'E422':[], 'E224':[], 'E151':[], 'E293':[], 'E302':[], 'E309':[], 'E378':[], 'E373':[], 'E364':[], 'E144':[], 'E162':[], 'E208':[], 'E399':[], 'E355':[], 'E197':[], 'E375':[], 'E368':[], 'E334':[], 'E172':[], 'E254':[], 'E352':[], 'E230':[], 'E313':[], 'E255':[], 'E273':[], 'E220':[], 'E169':[], 'E126':[], 'E237':[], 'E153':[], 'E164':[], 'E344':[], 'E284':[], 'E320':[], 'E328':[], 'E143':[], 'E338':[], 'E290':[], 'E251':[], 'E314':[], 'E330':[], 'E424':[], 'E183':[], 'E248':[], 'E181':[], 'E271':[], 'E403':[], 'E359':[], 'E324':[], 'E304':[], 'E213':[], 'E412':[], 'E337':[], 'E235':[], 'E371':[], 'E283':[], 'E391':[], 'E370':[], 'E173':[], 'E158':[], 'E171':[], 'E299':[], 'E310':[], 'E174':[], 'E295':[], 'E402':[], 'E419':[], 'E327':[], 'E294':[], 'E339':[], 'E203':[], 'E285':[], 'E410':[], 'E241':[], 'E152':[], 'E228':[], 'E245':[], 'E263':[], 'E404':[], 'E160':[], 'E292':[], 'E397':[], 'E329':[], 'E163':[], 'E301':[], 'E365':[], 'E178':[], 'E288':[], 'E175':[], 'E211':[], 'E252':[], 'E276':[], 'E156':[], 'E232':[], 'E321':[], 'E128':[], 'E150':[], 'E148':[], 'E161':[], 'E222':[], 'E142':[], 'E134':[], 'E238':[], 'E396':[], 'E239':[], 'E227':[], 'E147':[], 'E188':[], 'E243':[], 'E401':[], 'E362':[], 'E418':[], 'E272':[], 'E333':[], 'E405':[], 'E416':[], 'E358':[], 'E202':[], 'E259':[], 'E180':[], 'E409':[], 'E244':[], 'E394':[], 'E282':[], 'E210':[], 'E124':[], 'E398':[], 'E374':[], 'E277':[], 'E265':[], 'E421':[], 'E342':[], 'E322':[], 'E165':[], 'E340':[], 'E381':[], 'E331':[], 'E280':[], 'E393':[], 'E353':[], 'E221':[], 'E219':[], 'E323':[], 'E336':[], 'E199':[], 'E170':[], 'E137':[], 'E168':[], 'E350':[], 'E141':[], 'E214':[], 'E177':[], 'E250':[], 'E269':[], 'E167':[], 'E307':[], 'E420':[], 'E411':[], 'E262':[], 'E176':[], 'E218':[], 'E229':[], 'E315':[], 'E264':[], 'E127':[], 'E132':[], 'E154':[], 'E133':[], 'E332':[], 'E138':[], 'E258':[], 'E266':[], 'E236':[], 'E415':[], 'E146':[], 'E193':[], 'E187':[], 'E384':[], 'E417':[], 'E289':[], 'E279':[], 'E131':[], 'E184':[], 'E240':[], 'E149':[], 'E343':[]}
' I# }7 k9 v# t. K2 B7 k' [df = DataFrame(data_form); @6 \# s: Q4 ?2 F$ j0 ^% e

* H, i0 Q! D1 J& d* M; lfor val in rand_num:4 V! Z2 w) C. i# a+ q% l  |( O0 x
a = rate_func(val)
: Z" @+ F3 q7 ]6 h' r; ^3 N& g$ u) [ rate_list = get_rate(a)# X- V8 L6 ~- j9 N
df.loc[len(df)]  = rate_list, f: |  J5 P$ ]9 K
df.to_excel(writer,sheet_name='违约率变化',index=False)
; }- Z' j- [3 \5 [5 r* V) X销售数量和销售金额的随机数范围是：0~MAX3 H7 @7 N" ^, V5 o0 z

" |+ D  u. y0 X5 @! r5 v/ X
4 Z# ~0 s! g. T* h/ _5 Z7 _- J
" R% |4 d# O3 p) v+ J  L* @8 E9 z  ?  i% j2 H) [
————————————————
$ _  o$ h& s4 m9 E0 [, K/ g5 F版权声明：本文为CSDN博主「Hk_Mayfly」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。0 |) `! L" z, L  T2 D6 f
原文链接：https://blog.csdn.net/qq_39542714/article/details/108592087
1 [8 _) R, ]; H. u, r) y( N* P
/ _' ?. h3 r& W9 b) n) w7 H
5 _) y5 l8 h$ q7 N  [  N0 i8 a" u- ^! K& r: \% c2 E9 o