2020 全国大学生数学建模竞赛C题思路+代码

杨利霞

2020 全国大学生数学建模竞赛C题思路+代码
题目链接：https://cloud.189.cn/t/ri2uUb7BRVJr


0 t: y% b9 F+ K0 Q/ b% R% G前言
2 D1 n; g! \9 k4 M1 l3 O# r( V

# w: N2 R- W7 x0 g, o5 ^
  c1 K2 O4 k0 G  Z3 p3 u' \
" i5 y7 Z3 t8 n# M2 B又是一年数据挖掘题型，第一次接触这种题型还是在去年的mathorcup上，这种题的难度就在于指标的建立和数据的处理上。后面会出一份关于数据挖掘题型，我的相关经验，常用的工具和代码。
1 h0 @) f: t* `, x& F$ o

" D' n0 M1 Z0 B5 L% w! W) b8 k下面的一，二问实际都在解决
8 z' ?, ~8 Y% o" C0 e
6 c, L% C( S5 I5 v1 A
贷不贷款？
1 ?8 N$ z0 [+ L3 S# ^! P; _贷款金额多少？
数据清洗
这道题的附件数据没有出现缺省或者异常数据，因此对于数据的预处理，更多的是根据问题的需求来做的。


- _' z0 v' ^& Z8 U将是否违约，违约设置为1，不违约设置为0
2 c# y# @1 ?; ~& o: S8 I+ l2 {
6 o- H0 {3 C4 g/ k7 J, _1 j: j
/ J. U) y- h' @6 U2 X% i  c/ u( ~6 Y信誉等级ABCD分别对应4,3,2,1
6 o) G/ Z  E0 M4 N
4 V: k+ a2 ]. P) [  n0 X
发票状态，有效发票为a，作废发票为b
+ R/ {; G' d5 G. F! P6 u$ k* a
8 h% J. x" E  Z5 y1 |$ N
我将销项和进项所有数据，以公司代码为区别，提取到了不同的sheet当中，对于该公司有效发票数，作废发票数，负数发票数，方便对数据观察。


9 j# m  P0 b) f( _# i) l# 遍历所有sheet数据
for xsn in sn.sheet_names[1:]:
9 ?  ?6 U$ {: |. t    # 读取文件
2 H+ T" _% `# k/ C5 z2 g8 o' e& I    datas = pd.read_excel(file_pos, sheet_name=xsn)
    datas['date']=pd.to_datetime(datas['date'],format='%Y/%m/%d')
    datas.set_index('date', drop=True)
    # 找到全部公司名称代号
    code_list = list(set(list((datas['code']))))
    for name in code_list:
. e3 G7 y4 P# s' B5 N* q/ B6 @        tmp_datas = datas[datas['code'] == name]
        tmp_datas.index = range(len(tmp_datas))
1 E+ I8 V& X0 [% g/ B' m, a) Q        # 转换日期未object类型
: x: U3 o4 h" [        tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
4 S9 m9 N% l# s- h) P$ o; O5 L        count1 = tmp_datas['tax_status'].value_counts()
        tmp_datas['a_count'] = list(count1)[0]
        if(len(count1) > 1):
* E! {' T  S2 h7 l+ G3 `  Q" _% ~6 k            tmp_datas['b_count'] = list(count1)[1]
& j0 d; K5 n! g  ?/ b        tmp2 = tmp_datas[tmp_datas['cost'] < 0]
        tmp_datas['neg_value_tax'] = len(tmp2)
0 y4 A) k' s* C' N* W4 B# I8 f        if xsn == sn.sheet_names[1]:
            tmp_datas.to_excel(writer1,sheet_name=name,index=False)
        else:
            tmp_datas.to_excel(writer2,sheet_name=name,index=False)
负数发票：在之前购买的物品，并开具了相关正向发票，后来退货所以开具了值为负数的发票，抵消前面正数发票的值。

$ T) M# _0 \9 q  ?3 F. P" m0 l
提取到信息：
2 K0 x$ R- V* Z% ?5 F6 D" v

& }0 o+ B* B: T+ ?( G" m) ?部分公司数据记录很少，或者时间跨度大，需要综合数据指标，抵消数据数量和跨度大的影响
有些负数发票，在之前找不到对应的正数发票，可能是因为在数据记录日期之前购买的，在之后退款，因此在附件中找不到记录。
. E$ U2 K1 m6 ^$ D' G问题一
, y8 {1 R1 }/ L& c& M7 S建立指标
进项发票作废率，进项负数发票率，进项每月平均交易额，进项每月交易次数，
) L2 F2 |. Q* d/ t
/ g: o) g5 O/ K
销项发票作废率，销项负数发票率，销项每月平均交易额，销项每月交易次数，销售收入增长率
0 T7 i. k* L4 a6 E

提取出相关指标到附件
1 c5 N0 `$ H  G, j8 ?/ ?

6 I% ^: z+ V% }) Ofor xsn in sn.sheet_names[1:]:
( o3 |& E( Y4 h" N2 h3 I    # 读取文件
% t& K7 I, U" ?6 F    datas = pd.read_excel(file_pos, sheet_name=xsn)
    code_list = list(set(list((datas['code']))))
    for name in code_list:
+ s( P- P6 U' C3 e9 Q- U9 v) j        tmp_datas = datas[datas['code'] == name]
        tmp_datas.index = range(len(tmp_datas))
4 M6 k5 ~" Y# f( G        insert_datas.append(name)
0 {, w$ T, \6 ~        # 作废数
3 Z9 C7 h. C; h        cacel_count = len(tmp_datas[tmp_datas['tax_status'] == 'b'])
        # 有效数
        valid_count = len(tmp_datas[tmp_datas['tax_status'] == 'a'])
        # 发票作废率
        count1 = (cacel_count / (cacel_count + valid_count))*100
        # 负数发票数
) W6 b" T& p1 b% H6 v- ^        neg_count = len(tmp_datas[tmp_datas['cost'] < 0])
        # 负数发票率
0 ?* f; w% h$ \7 @! b        count2 = (neg_count / valid_count) * 100
        # 转换时间
        tmp_datas['date'] = [x.strftime('%Y/%m/%d') for x in tmp_datas['date']]
        # 时间最大值
        max_time = tmp_datas.iloc[0:,1].max()
( @( C: j6 V, U        # 时间最小值
        min_time = tmp_datas.iloc[0:,1].min()
        # 时间差
        diff_time = months(max_time, min_time) + 1
        # 有效票
        valid_tax = tmp_datas[tmp_datas['tax_status'] == 'a']
        # 平均月交易额
4 u/ }: d! V& o, A& k" |& o        avg_money = valid_tax['totle_cost'].sum() / diff_time
2 ^3 d, }7 y: a" c% \$ w4 t        # 平均每月交易次数
7 k* S( }, w5 C% _        trans_count = len(tmp_datas) / diff_time
        insert_datas += [count1, count2, avg_money, trans_count,]
. K8 j: j. C8 d" I% D8 d        if flag:
4 V9 j" j5 n" g            df1.loc[len(df1)] = insert_datas
* w, _3 S& y  Z6 t, t3 Z            df1.to_excel(writer1,sheet_name='进项信息',index=False)
        else:
            merge_time = tmp_datas.groupby(tmp_datas['date']).sum()
            # 销售收入增长率
            income_info= list((merge_time['cost'] - merge_time['cost'].shift(1)).fillna(1))
            diff_time_day = days(max_time,min_time)
            income_tax = (sum(income_info) / diff_time_day)*100
            insert_datas.append(income_tax)
* z# j8 L& `6 l* T! I# w' _            df2.loc[len(df2)] = insert_datas
            df2.to_excel(writer1,sheet_name='销项信息',index=False)
* m! H7 f( d& e+ ~9 w: ?% w( S) l        insert_datas = []
1 ?, ^$ H9 o* I. T2 A    flag = False
' A! O2 L$ I( l( n7 b9 T- ]7 L6 [
* R. f3 }2 D% ]

7 `$ i/ f) i; Y$ G+ o
, c, \' o# O( ~) }7 B# t, V6 x并将是否违约插入到最后一列
$ h" ]! J& D& x! h
, o" G* V( g  Y; V+ n, d# ]- c
# 提取是否违约的列表
m = []
- s5 C+ G! y* e) n8 A- e( g6 D+ I0 Tfor name in code_list:
    m.append(datas[datas['code']==name]['break_contract'].tolist()[0])
    df1.loc[:,len(df1)] = m
8 H* d% S% z9 T: o4 H4 }+ {/ C    df1.to_excel(writer3,sheet_name='sheet1',index=False)
建立模型
Logistics违约率预测模型
使用Logistics违约预测模型，代入所有的指标数据为自变量，是否违约为因变量，预测出违约率。
/ c' k. V. `6 |- W' |
6 J' i' x3 ]) a  H; f
X=datas[['进项发票作废率','进项负数发票率','进项每月平均交易额','进项每月交易次数','销项发票作废率','销项负数发票率','销项每月平均交易额','销项每月交易次数','销售收入增长率']]
2 ?/ T0 M8 S& by=datas['是否违约']
/ P8 w: W4 W# d- p' fX_train, X_test, y_train, y_test = train_test_split(X,y, test_size=0.2,random_state=2020)
X_validation, X_test, y_validation, y_test = train_test_split(X_test,y_test, test_size=0.1,random_state=2020)
6 \6 F5 ~2 q7 v5 V( k: ^, Nmodel = LogisticRegression()
- e& _& f8 v% s; @3 U+ C+ i1 Jmodel.fit(X_train,y_train)
a=model.predict_proba(X_validation)
result=[]
for i in range(len(a)):
if a[1]>0.5:
1 K* h5 p( f: I9 b# y* N    result.append(1)
. D- T+ r* {: D$ T; R4 }, ~else:
    result.append(0)
! c& T" m* s. w* J* Pfrom sklearn import metrics
  k, e9 L2 H; g2 [print('误差: %.4f' % (1-metrics.recall_score(y_validation,result,average='weighted')))
! c/ t) R; I+ Y1 ^* ^& B, `+ i最终得到一张我们的分析表格

$ w' o8 z) o' l! ~( t1 }




通过预测是否违约，我们就能解决贷不贷款的问题。


贷款金额
  ^- ^3 ^( n8 y  y% C贷款金额的确认，根据该公司不违约率在所有公司中的权重，乘以总贷款金额确认：

. ^4 I) V1 s* W+ a: u# b& u+ a1 J, D
  F$ i( B7 Y1 V9 _0 k" z( i' |  E


ri=1−Zi∑123j=1(1−Zi)×M
ri=1−Zi∑j=1123(1−Zi)×M
因此，我们得到的贷款金额是违约率和贷款总金额组成的关系式，这在第二问中能起到重要作用。

/ P! L6 j9 n& Z$ R  P7 h5 X: ]+ Z
$ K, J' Z" T, W3 _1 C6 c9 a贷款年利率
2 I( d) p$ M# Q1 |0 v' E, j绘制出年利率与客户流失率图，可以分析出两者应该是有关系的。利用SPSS拟合出不同信誉等级，年利率与客户流失率的关系式。
5 S7 e/ m! r% C3 J) r; X
  q* _, M- T0 R/ K
$ d; w# k1 u% I# j$ `信誉等级        R平方        关系式
A        0.9977        y = 37.97x^3-258.57x^2+640.944*x -1.121
/ s* ~  z2 _  r9 y  H- YB        0.9982        y = 33.995x^3-225.051x^2+552.829*x-1.017
: }  E6 P+ P, t) x3 ]7 b, kC        0.9982        y = 32.157x^3-207.386x^2+504.717*x-0.973
银行获利=贷款金额x贷款年利率x(1-利率对于信誉评级客户流失率)
$ a! p) D, u  U: j

在贷款金额确认，贷款年利率范围在0.4~1.5的情况下，利用上面拟合的关系式，我们能够暴力跑出最优年利率。

/ W3 |3 C* V9 K$ j' x! n
: r  F9 I5 G  w( e4 Y' Kdouble turnover_rate(double x, char ch) {
: L& G4 O4 E9 z        double y = 0, result = 0;
        switch (ch) {
2 Q# j7 y6 Q0 t* A! ~$ w8 K        case 'A':
# I; m8 W4 F4 J                y = 37.969520 * pow(x, 3) - 258.570452 * pow(x, 2) + 640.944427 * x - 1.121484;
$ j& t# K; w" Q$ N3 D                result = x * (1 - y / 100.0);
: D+ \, P; F' u9 ~1 j4 F+ B                break;
        case 'B':
                y = 33.994698 * pow(x, 3) - 225.050538 * pow(x, 2) + 552.829151 * x - 1.016503;
6 Q$ W* [4 I1 _1 f* L' r* D# ?                result = x * (1 - y / 100.0);
                break;
4 c$ k  N& j- l: U9 _        case 'C':
' b4 s& K& j1 d                y = 32.156864 * pow(x, 3) - 207.385880 * pow(x, 2) + 504.716993 * x - 0.973497;
                result = x * (1 - y / 100.0);
7 }0 J4 q& ~" |* d1 @                break;
        default:
  l# D$ g$ q/ h* a9 p                cout << "输出有误！"  << ch << endl;
5 e+ a& D( B' m- ~        }
  c( D/ {$ _9 ]% s3 l% |
        return result;
}



" @- v* b* r$ }/ f: \- y
问题二
5 r+ |0 v( H+ @1 [: j利用代码，重新计算出各指标数据
0 K* p# Y" X; I! l0 B$ Q& y+ V2 D代入Logistics违约率预测模型，预测出各公司的违约率
: G0 b: A" m0 N1 T$ d根据标准普尔评级建立，主标尺，对不同违约率进行A~D等级划分，信誉等级D不予贷款
1 F( C5 u7 D, p$ P6 B将违约率代入，之前得到的公式，得到具体贷款金额
最优年利率沿用上一问
# 信用等级
cs = []
# 最优年利率,客户流失率,利率值
tax = []
for i in m:
    if i <= 0.0069264:
        cs.append('A')
3 z- m0 g+ a2 E+ p7 I% j        tax.append([0.083,0.503173,0.0412366])
    elif i > 0.0069264 and i <= 0.22619:
& W8 _8 D  E. P1 S9 ^        cs.append('B')
  d$ n& g( t5 V4 W% I8 J& ^        tax.append([0.097,0.505215,0.0479942])
    elif i > 0.22619 and i <= 0.509915:
# e& L) X) z% R6 [0 B4 h        cs.append('C')
+ |9 b1 I1 e4 G! k  T- d        tax.append([0.1069,0.506501,0.052755])
. K5 I/ g. o0 l2 C  [' p  [    elif i > 0.509915:
        cs.append('D')
        tax.append([0.15,0,0])
4 B% O) M) j& d" V( o    else:
0 K5 i7 L. _( ^! s! N        print('违规')
        
parr = []
  s0 R) q+ J1 U! X' n; ~! Vfor arr in list(a):
    parr.append(list(arr)[0])
" R) h- x7 x) i0 Z6 _! |sum_val = sum(parr)
% D# ]9 \- Q0 s& [0 [+ yamount = []
for ival in parr:
    tmp = ival / sum_val * 100000000
# @/ X  v. p& v' d$ S# t# t    if ival < 1 - 0.509915:
" l2 t4 Q! A6 g" w: Z            amount.append(0)
# q- K5 `% _0 \& H    else:
            amount.append(tmp)
0 s' N' ^) F( i" |) q. o



可以看到，贷款金额也都在10w~100w之内。
: j( r$ l4 {" ?; L3 V8 T
. a6 n; z, k( |
问题三
5 d7 ^  x+ s( y; n4 C& C7 A这一问，我们做得有些匆忙了，有其他想法的可以按照自己的想法做做，这里只拿我们的做参照。
5 G$ N6 U! M2 b$ d( B0 @

疫情对公司影响最大的就是每月平均销售额和每月平均销售数量，因此，
) l5 f5 ~$ c, t2 R

对每月平均销售额和每月平均销售数量，分别取随机数，数量取10w组，其他指标数据值不变，是否违约数据根据第二问结果，设为初始值
7 t$ H' F9 W4 l- ^4 q+ B- E代入Logistics模型中，预测出每一组的违约率
: t, v0 Y" [9 T3 O: D. j判断每个公司违约率的变化情况，根据变化情况来增/减贷款金额和年利率。
- e( _) a3 |) k2 W( Srand_num = pro_rand()
' o0 x# X/ P4 D4 o3 x; W( x" D5 s
1 H: F3 c  }$ v! _data_form = {'E377':[], 'E311':[], 'E297':[], 'E386':[], 'E233':[], 'E367':[], 'E194':[], 'E196':[], 'E249':[], 'E205':[], 'E159':[], 'E300':[], 'E346':[], 'E395':[], 'E360':[], 'E200':[], 'E195':[], 'E247':[], 'E317':[], 'E303':[], 'E135':[], 'E217':[], 'E298':[], 'E325':[], 'E335':[], 'E157':[], 'E287':[], 'E270':[], 'E286':[], 'E212':[], 'E261':[], 'E423':[], 'E390':[], 'E189':[], 'E129':[], 'E366':[], 'E191':[], 'E246':[], 'E406':[], 'E357':[], 'E349':[], 'E387':[], 'E372':[], 'E385':[], 'E209':[], 'E267':[], 'E414':[], 'E316':[], 'E341':[], 'E281':[], 'E206':[], 'E363':[], 'E166':[], 'E190':[], 'E140':[], 'E130':[], 'E225':[], 'E347':[], 'E356':[], 'E185':[], 'E192':[], 'E207':[], 'E234':[], 'E136':[], 'E379':[], 'E274':[], 'E383':[], 'E242':[], 'E361':[], 'E408':[], 'E198':[], 'E204':[], 'E413':[], 'E389':[], 'E253':[], 'E226':[], 'E231':[], 'E182':[], 'E318':[], 'E392':[], 'E275':[], 'E425':[], 'E388':[], 'E305':[], 'E155':[], 'E348':[], 'E400':[], 'E256':[], 'E351':[], 'E201':[], 'E345':[], 'E278':[], 'E306':[], 'E308':[], 'E215':[], 'E382':[], 'E407':[], 'E376':[], 'E291':[], 'E369':[], 'E139':[], 'E296':[], 'E260':[], 'E145':[], 'E257':[], 'E216':[], 'E125':[], 'E312':[], 'E354':[], 'E380':[], 'E326':[], 'E268':[], 'E186':[], 'E179':[], 'E223':[], 'E319':[], 'E422':[], 'E224':[], 'E151':[], 'E293':[], 'E302':[], 'E309':[], 'E378':[], 'E373':[], 'E364':[], 'E144':[], 'E162':[], 'E208':[], 'E399':[], 'E355':[], 'E197':[], 'E375':[], 'E368':[], 'E334':[], 'E172':[], 'E254':[], 'E352':[], 'E230':[], 'E313':[], 'E255':[], 'E273':[], 'E220':[], 'E169':[], 'E126':[], 'E237':[], 'E153':[], 'E164':[], 'E344':[], 'E284':[], 'E320':[], 'E328':[], 'E143':[], 'E338':[], 'E290':[], 'E251':[], 'E314':[], 'E330':[], 'E424':[], 'E183':[], 'E248':[], 'E181':[], 'E271':[], 'E403':[], 'E359':[], 'E324':[], 'E304':[], 'E213':[], 'E412':[], 'E337':[], 'E235':[], 'E371':[], 'E283':[], 'E391':[], 'E370':[], 'E173':[], 'E158':[], 'E171':[], 'E299':[], 'E310':[], 'E174':[], 'E295':[], 'E402':[], 'E419':[], 'E327':[], 'E294':[], 'E339':[], 'E203':[], 'E285':[], 'E410':[], 'E241':[], 'E152':[], 'E228':[], 'E245':[], 'E263':[], 'E404':[], 'E160':[], 'E292':[], 'E397':[], 'E329':[], 'E163':[], 'E301':[], 'E365':[], 'E178':[], 'E288':[], 'E175':[], 'E211':[], 'E252':[], 'E276':[], 'E156':[], 'E232':[], 'E321':[], 'E128':[], 'E150':[], 'E148':[], 'E161':[], 'E222':[], 'E142':[], 'E134':[], 'E238':[], 'E396':[], 'E239':[], 'E227':[], 'E147':[], 'E188':[], 'E243':[], 'E401':[], 'E362':[], 'E418':[], 'E272':[], 'E333':[], 'E405':[], 'E416':[], 'E358':[], 'E202':[], 'E259':[], 'E180':[], 'E409':[], 'E244':[], 'E394':[], 'E282':[], 'E210':[], 'E124':[], 'E398':[], 'E374':[], 'E277':[], 'E265':[], 'E421':[], 'E342':[], 'E322':[], 'E165':[], 'E340':[], 'E381':[], 'E331':[], 'E280':[], 'E393':[], 'E353':[], 'E221':[], 'E219':[], 'E323':[], 'E336':[], 'E199':[], 'E170':[], 'E137':[], 'E168':[], 'E350':[], 'E141':[], 'E214':[], 'E177':[], 'E250':[], 'E269':[], 'E167':[], 'E307':[], 'E420':[], 'E411':[], 'E262':[], 'E176':[], 'E218':[], 'E229':[], 'E315':[], 'E264':[], 'E127':[], 'E132':[], 'E154':[], 'E133':[], 'E332':[], 'E138':[], 'E258':[], 'E266':[], 'E236':[], 'E415':[], 'E146':[], 'E193':[], 'E187':[], 'E384':[], 'E417':[], 'E289':[], 'E279':[], 'E131':[], 'E184':[], 'E240':[], 'E149':[], 'E343':[]}
df = DataFrame(data_form)

for val in rand_num:
; C4 C* |1 P* B        a = rate_func(val)
        rate_list = get_rate(a)
3 j6 F4 f7 b+ U        df.loc[len(df)]  = rate_list
        df.to_excel(writer,sheet_name='违约率变化',index=False)
销售数量和销售金额的随机数范围是：0~MAX
$ m4 _, ?$ g4 t$ z% }


3 [9 n: e. ^# Y) V" f
————————————————
- Q; G, O) Y/ Q" p2 ^7 o6 t2 H版权声明：本文为CSDN博主「Hk_Mayfly」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_39542714/article/details/108592087


5 @2 j$ {5 z8 {