数学建模社区-数学中国

标题: 2020 全国大学生数学建模竞赛C题思路+代码 [打印本页]

作者: 杨利霞 时间: 2021-5-24 15:37
标题: 2020 全国大学生数学建模竞赛C题思路+代码
2020 全国大学生数学建模竞赛C题思路+代码
题目链接：https://cloud.189.cn/t/ri2uUb7BRVJr

前言

又是一年数据挖掘题型，第一次接触这种题型还是在去年的mathorcup上，这种题的难度就在于指标的建立和数据的处理上。后面会出一份关于数据挖掘题型，我的相关经验，常用的工具和代码。

下面的一，二问实际都在解决

贷不贷款？
贷款金额多少？
数据清洗
这道题的附件数据没有出现缺省或者异常数据，因此对于数据的预处理，更多的是根据问题的需求来做的。

将是否违约，违约设置为1，不违约设置为0

信誉等级ABCD分别对应4,3,2,1

发票状态，有效发票为a，作废发票为b

我将销项和进项所有数据，以公司代码为区别，提取到了不同的sheet当中，对于该公司有效发票数，作废发票数，负数发票数，方便对数据观察。

# 遍历所有sheet数据
for xsn in sn.sheet_names[1:]:
# 读取文件
datas = pd.read_excel(file_pos, sheet_name=xsn)
datas['date']=pd.to_datetime(datas['date'],format='%Y/%m/%d')
datas.set_index('date', drop=True)
# 找到全部公司名称代号
code_list = list(set(list((datas['code']))))
for name in code_list:
      tmp_datas = datas[datas['code'] == name]
      tmp_datas.index = range(len(tmp_datas))
      # 转换日期未object类型
      tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
      count1 = tmp_datas['tax_status'].value_counts()
      tmp_datas['a_count'] = list(count1)[0]
      if(len(count1) > 1):
         tmp_datas['b_count'] = list(count1)[1]
      tmp2 = tmp_datas[tmp_datas['cost'] < 0]
      tmp_datas['neg_value_tax'] = len(tmp2)
      if xsn == sn.sheet_names[1]:
         tmp_datas.to_excel(writer1,sheet_name=name,index=False)
      else:
         tmp_datas.to_excel(writer2,sheet_name=name,index=False)
负数发票：在之前购买的物品，并开具了相关正向发票，后来退货所以开具了值为负数的发票，抵消前面正数发票的值。

提取到信息：

部分公司数据记录很少，或者时间跨度大，需要综合数据指标，抵消数据数量和跨度大的影响
有些负数发票，在之前找不到对应的正数发票，可能是因为在数据记录日期之前购买的，在之后退款，因此在附件中找不到记录。
问题一
建立指标
进项发票作废率，进项负数发票率，进项每月平均交易额，进项每月交易次数，

销项发票作废率，销项负数发票率，销项每月平均交易额，销项每月交易次数，销售收入增长率

提取出相关指标到附件

for xsn in sn.sheet_names[1:]:
# 读取文件
datas = pd.read_excel(file_pos, sheet_name=xsn)
code_list = list(set(list((datas['code']))))
for name in code_list:
      tmp_datas = datas[datas['code'] == name]
      tmp_datas.index = range(len(tmp_datas))
      insert_datas.append(name)
      # 作废数
      cacel_count = len(tmp_datas[tmp_datas['tax_status'] == 'b'])
      # 有效数
      valid_count = len(tmp_datas[tmp_datas['tax_status'] == 'a'])
      # 发票作废率
      count1 = (cacel_count / (cacel_count + valid_count))*100
      # 负数发票数
      neg_count = len(tmp_datas[tmp_datas['cost'] < 0])
      # 负数发票率
      count2 = (neg_count / valid_count) * 100
      # 转换时间
      tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
      # 时间最大值
      max_time = tmp_datas.iloc[0:,1].max()
      # 时间最小值
      min_time = tmp_datas.iloc[0:,1].min()
      # 时间差
      diff_time = months(max_time, min_time) + 1
      # 有效票
      valid_tax = tmp_datas[tmp_datas['tax_status'] == 'a']
      # 平均月交易额
      avg_money = valid_tax['totle_cost'].sum() / diff_time
      # 平均每月交易次数
      trans_count = len(tmp_datas) / diff_time
      insert_datas += [count1, count2, avg_money, trans_count,]
      if flag:
         df1.loc[len(df1)] = insert_datas
         df1.to_excel(writer1,sheet_name='进项信息',index=False)
      else:
         merge_time = tmp_datas.groupby(tmp_datas['date']).sum()
         # 销售收入增长率
         income_info= list((merge_time['cost'] - merge_time['cost'].shift(1)).fillna(1))
         diff_time_day = days(max_time,min_time)
         income_tax = (sum(income_info) / diff_time_day)*100
         insert_datas.append(income_tax)
         df2.loc[len(df2)] = insert_datas
         df2.to_excel(writer1,sheet_name='销项信息',index=False)
      insert_datas = []
flag = False

并将是否违约插入到最后一列

# 提取是否违约的列表
m = []
for name in code_list:
m.append(datas[datas['code']==name]['break_contract'].tolist()[0])
df1.loc[:,len(df1)] = m
df1.to_excel(writer3,sheet_name='sheet1',index=False)
建立模型
Logistics违约率预测模型
使用Logistics违约预测模型，代入所有的指标数据为自变量，是否违约为因变量，预测出违约率。

X=datas[['进项发票作废率','进项负数发票率','进项每月平均交易额','进项每月交易次数','销项发票作废率','销项负数发票率','销项每月平均交易额','销项每月交易次数','销售收入增长率']]
y=datas['是否违约']
X_train, X_test, y_train, y_test = train_test_split(X,y, test_size=0.2,random_state=2020)
X_validation, X_test, y_validation, y_test = train_test_split(X_test,y_test, test_size=0.1,random_state=2020)
model = LogisticRegression()
model.fit(X_train,y_train)
a=model.predict_proba(X_validation)
result=[]
for i in range(len(a)):
if a[1]>0.5:
9 o- h8 m. E8 D& q: E4 n result.append(1)
# ]" `, D8 C4 V; d8 E& t5 relse:
  t* A6 E" h5 U! n+ V& ^0 ` result.append(0)+ f  n- I+ F! {9 q7 ^
from sklearn import metrics
) o* ~& j, j; {/ L* \) Iprint('误差: %.4f' % (1-metrics.recall_score(y_validation,result,average='weighted')))
" E& u, n6 B2 j$ b- L6 N7 g0 V最终得到一张我们的分析表格8 J; t0 K* T3 k/ S
- l& Q# a- }: k$ o1 a# s* R
1 s# z2 d2 n2 t% S7 J

' H. ?3 T7 V8 Y9 T8 t8 g; n9 a  b* L% q7 A
+ Y1 A8 \  d! ]' Z( T* z/ }  Y
+ g- |: T( N( G- s& S) Q* n
通过预测是否违约，我们就能解决贷不贷款的问题。
3 R+ U% {  D* [% M. |0 G
2 |* L) q( L2 W; h/ \  F$ Y
  e6 o# _! p2 \0 u. [2 `* p贷款金额
; S6 h" k5 V0 `贷款金额的确认，根据该公司不违约率在所有公司中的权重，乘以总贷款金额确认：
  p' k1 X/ P$ {/ l9 K' o: D. P% |- X7 W. ]' G1 W  ^' N) Q
9 `% H  E1 z& _
  }, U% k# Z0 U3 I  z
- J6 [; [, A% q) @

# r) l( c3 P. L+ q8 B6 l% L( ori=1−Zi∑123j=1(1−Zi)×M8 t1 n! A# v/ {+ m) \- J2 `
ri=1−Zi∑j=1123(1−Zi)×M
# }. @  I# G' g$ Q+ Q因此，我们得到的贷款金额是违约率和贷款总金额组成的关系式，这在第二问中能起到重要作用。
6 F; f" u& E; c' I+ d
' t; U9 E5 E# P1 s# l% d! h- @* S. }* t4 ]3 d9 @- s
贷款年利率
8 N0 ]+ w$ }" w  L- a6 D绘制出年利率与客户流失率图，可以分析出两者应该是有关系的。利用SPSS拟合出不同信誉等级，年利率与客户流失率的关系式。' K" X9 U( c4 D# `* x
/ y9 [8 u9 A8 Y+ C  z# k& S
$ t8 m3 T6 Y# |
信誉等级 R平方关系式
7 W4 ]% F+ Y* u+ rA 0.9977 y = 37.97x^3-258.57x^2+640.944*x -1.121! ^3 S" }: S- N: Z+ Q) N2 q
B 0.9982 y = 33.995x^3-225.051x^2+552.829*x-1.017
) Q7 L2 j9 E7 F% W5 X) hC 0.9982 y = 32.157x^3-207.386x^2+504.717*x-0.973- R0 ]' p# t- j3 t2 k
银行获利=贷款金额x贷款年利率x(1-利率对于信誉评级客户流失率)" J8 `' U: K7 `! k- A# S0 c1 Z

4 \' S& l- @0 I( q+ C) q* k) J$ O4 w- q) j
在贷款金额确认，贷款年利率范围在0.4~1.5的情况下，利用上面拟合的关系式，我们能够暴力跑出最优年利率。
, ~; r  N3 l% P2 R
6 A8 g3 i: v" y0 \3 ?6 E
- K$ N3 }& U2 Q3 U1 Q! m( `double turnover_rate(double x, char ch) {: d9 N: R* a; p) q( O9 @# H
double y = 0, result = 0;
. T9 ?$ f" ]9 r! E+ l4 ?) y switch (ch) {3 l5 B& f+ w# K
case 'A':8 \/ y$ r, v4 j* w; }
y = 37.969520 * pow(x, 3) - 258.570452 * pow(x, 2) + 640.944427 * x - 1.121484;+ u. ]/ Z  |3 v7 Y2 T' s
result = x * (1 - y / 100.0);
0 A. l9 e, O' N* @5 p break;
- h& [8 j+ r5 ]; D, | case 'B':% m+ f) R4 ?" J0 S. A% ?$ x
y = 33.994698 * pow(x, 3) - 225.050538 * pow(x, 2) + 552.829151 * x - 1.016503;+ R, Q% y" v/ g* E
result = x * (1 - y / 100.0);
) R9 S1 B& M  d( T  t break;  L' z% H4 ^% Z: T  F( D. T
case 'C':0 @: o' x8 u) U# b' S: B: V
y = 32.156864 * pow(x, 3) - 207.385880 * pow(x, 2) + 504.716993 * x - 0.973497;
2 o0 D3 j6 J# x& H: S3 }$ Q! ^ result = x * (1 - y / 100.0);
7 _" B. k/ T; X3 k3 |; J break;; t2 j6 s  ~" d0 L" B2 B4 d/ S& N
default:' ?$ I1 H( P8 ]- c6 M$ H6 b, S
cout << "输出有误！"  << ch << endl;  p0 h# Q: w* D* S
}
% g- f: Q4 x, T  w0 [& [
% [+ N1 {) }- b5 J& K( l5 D return result;
" @) C4 [* `* u4 t}0 }4 Y7 j" q! g9 I
0 w) s, R; n1 V# Y. b5 a0 m
4 V' S" O! _( ^
& F8 t& b# r' t' E0 a

0 v' Q* s" R7 W3 X$ X问题二
" p5 y% b; B, |利用代码，重新计算出各指标数据, @3 Z9 T  o8 X5 {
代入Logistics违约率预测模型，预测出各公司的违约率# }- m  F0 }6 P
根据标准普尔评级建立，主标尺，对不同违约率进行A~D等级划分，信誉等级D不予贷款& X, t0 ]  e# Z# K8 K" d* h$ T
将违约率代入，之前得到的公式，得到具体贷款金额
3 ]% y; y+ \4 V0 [" B" ~最优年利率沿用上一问# t/ \3 r7 Z0 S4 L$ W) a
# 信用等级+ A0 z& S1 v! v! m! ^5 }
cs = []5 u9 O5 |# `4 V% X6 C. q0 G
# 最优年利率,客户流失率,利率值1 r0 |* }# N+ z/ m" W3 X3 h
tax = []4 |- p6 Y; {9 \$ C6 a: p" U
for i in m:
' h7 ?6 l" B  s, L if i <= 0.0069264:
/ a) G4 z2 S& M8 K7 _6 z       cs.append('A')
1 c- k2 q/ i* b: M, L- g       tax.append([0.083,0.503173,0.0412366])+ z: ~1 g. p1 S. i" i! X
elif i > 0.0069264 and i <= 0.22619:
& [. j5 {- f! Q& G" k6 C9 q( ^: Z       cs.append('B')
! m& s6 R  k% M: _3 b4 O       tax.append([0.097,0.505215,0.0479942])
* o" _9 d% M* d9 Q elif i > 0.22619 and i <= 0.509915:
  b& u, u3 P1 n6 z+ a& j# V, \; U       cs.append('C')
- n1 B, P8 e4 r% t& q3 }       tax.append([0.1069,0.506501,0.052755])
; m+ A0 P1 B+ [/ @1 s- } elif i > 0.509915:9 X! j* I3 q& a; i
      cs.append('D')
2 }9 B) Z& E: _1 h3 N# S       tax.append([0.15,0,0])' L4 u! B8 l& w" M$ c  y, n
else:) A3 i. Q  u, b* @# P
      print('违规')8 k  Q5 T. J0 Z

1 O! j* w% I/ z& D  w) nparr = []4 [( p0 T8 K' t  l1 t' G; f
for arr in list(a):
) W! L* G: W, ^/ F) G; f, S5 n9 L- u parr.append(list(arr)[0])! h2 W$ ]1 l/ d
sum_val = sum(parr)
: n7 Y3 i; ?% k  F) B5 Yamount = []
, c* r% |2 U1 i2 }for ival in parr:
3 a4 \2 S$ M7 x tmp = ival / sum_val * 100000000( }) C& @( V9 w" S
if ival < 1 - 0.509915:7 q: }. q# K$ [. w4 f+ u* W
amount.append(0)
0 C7 D) S7 b) l# O7 o# b else:- _! ]6 [/ q6 k. C7 U+ y
amount.append(tmp)
% j/ M/ O! D) y  Z: e  y* r1 M# t
$ _- K6 S5 I  \$ k! l2 h7 l0 }# x% w& W9 ]
6 G7 J/ q" y( @" h3 X3 F% {) i% v
  R8 y" L4 \: [: w
可以看到，贷款金额也都在10w~100w之内。6 w  c/ C" w# t4 I
! H$ i: i( Q' w$ a# c7 J

& p- H- Q, Y& X3 V/ m: P$ h: N问题三
7 k7 y# ^4 P! I8 \* O. K7 g这一问，我们做得有些匆忙了，有其他想法的可以按照自己的想法做做，这里只拿我们的做参照。
! u& B, M/ M" K, K1 L1 @0 ]
1 w$ I% `  `) \0 V1 c# W2 I6 l
+ o7 M( o% U" ?' M) `1 W5 J疫情对公司影响最大的就是每月平均销售额和每月平均销售数量，因此，. \2 N% ^( T: r' k: C

0 h$ h% h2 Z2 x( R9 q7 Y
9 c( d+ M$ H& @; y  p( i( X对每月平均销售额和每月平均销售数量，分别取随机数，数量取10w组，其他指标数据值不变，是否违约数据根据第二问结果，设为初始值
$ B: B. v4 A3 w: t5 a# m% s代入Logistics模型中，预测出每一组的违约率
6 x! N6 y: O- q6 b, s6 `6 l% G* T: _判断每个公司违约率的变化情况，根据变化情况来增/减贷款金额和年利率。
" j8 M" H, h! S* P  h2 arand_num = pro_rand()
8 z- G4 I+ Y( X/ j! A - c4 x9 N) @* t, c7 a4 c/ g
data_form = {'E377':[], 'E311':[], 'E297':[], 'E386':[], 'E233':[], 'E367':[], 'E194':[], 'E196':[], 'E249':[], 'E205':[], 'E159':[], 'E300':[], 'E346':[], 'E395':[], 'E360':[], 'E200':[], 'E195':[], 'E247':[], 'E317':[], 'E303':[], 'E135':[], 'E217':[], 'E298':[], 'E325':[], 'E335':[], 'E157':[], 'E287':[], 'E270':[], 'E286':[], 'E212':[], 'E261':[], 'E423':[], 'E390':[], 'E189':[], 'E129':[], 'E366':[], 'E191':[], 'E246':[], 'E406':[], 'E357':[], 'E349':[], 'E387':[], 'E372':[], 'E385':[], 'E209':[], 'E267':[], 'E414':[], 'E316':[], 'E341':[], 'E281':[], 'E206':[], 'E363':[], 'E166':[], 'E190':[], 'E140':[], 'E130':[], 'E225':[], 'E347':[], 'E356':[], 'E185':[], 'E192':[], 'E207':[], 'E234':[], 'E136':[], 'E379':[], 'E274':[], 'E383':[], 'E242':[], 'E361':[], 'E408':[], 'E198':[], 'E204':[], 'E413':[], 'E389':[], 'E253':[], 'E226':[], 'E231':[], 'E182':[], 'E318':[], 'E392':[], 'E275':[], 'E425':[], 'E388':[], 'E305':[], 'E155':[], 'E348':[], 'E400':[], 'E256':[], 'E351':[], 'E201':[], 'E345':[], 'E278':[], 'E306':[], 'E308':[], 'E215':[], 'E382':[], 'E407':[], 'E376':[], 'E291':[], 'E369':[], 'E139':[], 'E296':[], 'E260':[], 'E145':[], 'E257':[], 'E216':[], 'E125':[], 'E312':[], 'E354':[], 'E380':[], 'E326':[], 'E268':[], 'E186':[], 'E179':[], 'E223':[], 'E319':[], 'E422':[], 'E224':[], 'E151':[], 'E293':[], 'E302':[], 'E309':[], 'E378':[], 'E373':[], 'E364':[], 'E144':[], 'E162':[], 'E208':[], 'E399':[], 'E355':[], 'E197':[], 'E375':[], 'E368':[], 'E334':[], 'E172':[], 'E254':[], 'E352':[], 'E230':[], 'E313':[], 'E255':[], 'E273':[], 'E220':[], 'E169':[], 'E126':[], 'E237':[], 'E153':[], 'E164':[], 'E344':[], 'E284':[], 'E320':[], 'E328':[], 'E143':[], 'E338':[], 'E290':[], 'E251':[], 'E314':[], 'E330':[], 'E424':[], 'E183':[], 'E248':[], 'E181':[], 'E271':[], 'E403':[], 'E359':[], 'E324':[], 'E304':[], 'E213':[], 'E412':[], 'E337':[], 'E235':[], 'E371':[], 'E283':[], 'E391':[], 'E370':[], 'E173':[], 'E158':[], 'E171':[], 'E299':[], 'E310':[], 'E174':[], 'E295':[], 'E402':[], 'E419':[], 'E327':[], 'E294':[], 'E339':[], 'E203':[], 'E285':[], 'E410':[], 'E241':[], 'E152':[], 'E228':[], 'E245':[], 'E263':[], 'E404':[], 'E160':[], 'E292':[], 'E397':[], 'E329':[], 'E163':[], 'E301':[], 'E365':[], 'E178':[], 'E288':[], 'E175':[], 'E211':[], 'E252':[], 'E276':[], 'E156':[], 'E232':[], 'E321':[], 'E128':[], 'E150':[], 'E148':[], 'E161':[], 'E222':[], 'E142':[], 'E134':[], 'E238':[], 'E396':[], 'E239':[], 'E227':[], 'E147':[], 'E188':[], 'E243':[], 'E401':[], 'E362':[], 'E418':[], 'E272':[], 'E333':[], 'E405':[], 'E416':[], 'E358':[], 'E202':[], 'E259':[], 'E180':[], 'E409':[], 'E244':[], 'E394':[], 'E282':[], 'E210':[], 'E124':[], 'E398':[], 'E374':[], 'E277':[], 'E265':[], 'E421':[], 'E342':[], 'E322':[], 'E165':[], 'E340':[], 'E381':[], 'E331':[], 'E280':[], 'E393':[], 'E353':[], 'E221':[], 'E219':[], 'E323':[], 'E336':[], 'E199':[], 'E170':[], 'E137':[], 'E168':[], 'E350':[], 'E141':[], 'E214':[], 'E177':[], 'E250':[], 'E269':[], 'E167':[], 'E307':[], 'E420':[], 'E411':[], 'E262':[], 'E176':[], 'E218':[], 'E229':[], 'E315':[], 'E264':[], 'E127':[], 'E132':[], 'E154':[], 'E133':[], 'E332':[], 'E138':[], 'E258':[], 'E266':[], 'E236':[], 'E415':[], 'E146':[], 'E193':[], 'E187':[], 'E384':[], 'E417':[], 'E289':[], 'E279':[], 'E131':[], 'E184':[], 'E240':[], 'E149':[], 'E343':[]}
8 w2 w. y& \9 N$ I, Mdf = DataFrame(data_form)! K' F& T5 `# t( E

$ T& @9 O' K6 zfor val in rand_num:! |- n8 N; O2 p. a) T$ Q( O9 A% [
a = rate_func(val)
; T1 h. u2 L/ i6 u" Z rate_list = get_rate(a)2 B' J- ?* z5 A
df.loc[len(df)]  = rate_list
1 Z5 t) u" r. v$ v df.to_excel(writer,sheet_name='违约率变化',index=False)* @, X- e% J' [5 E1 w# q5 d3 n
销售数量和销售金额的随机数范围是：0~MAX1 l+ [$ O, |& |
9 T$ H: A1 Z$ i0 u' e+ t, m4 ~

: P( q9 e9 }& r, {0 @2 W% c& `1 b
& z: ^0 a! Z7 S# y( m" B3 b, x6 p, i% i# ~- F
————————————————4 K  W9 B! x1 U% N" E8 t
版权声明：本文为CSDN博主「Hk_Mayfly」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
; a4 _. U8 ~# }5 y! G  Q原文链接：https://blog.csdn.net/qq_39542714/article/details/108592087
  C3 r! S3 K. G4 C* V) U/ z) r$ h1 B* o* j& j1 c0 _3 F# N

: @* i8 d: p3 e. U: \
2 ?6 P# j# b7 b4 b: C

风控邀请函.docx

2021-5-24 15:37 上传

点击文件名下载附件
下载积分: 体力 -2 点

50.67 KB, 下载次数: 0, 下载积分: 体力 -2 点

售价: 1 点体力 [记录] [购买]

欢迎光临数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5