搞 AI 建模预测都在用 Python，其实入门用 SPL 也不错

杨利霞

搞 AI 建模预测都在用 Python，其实入门用 SPL 也不错

可用来做人工智能建模预测的工具非常多，比如Python, R, SAS，SPSS等，其中Python由于简单易学、丰富的数据科学库、开源免费等特点备受欢迎。但是对于不太熟悉数据建模算法的程序员来说，使用Python建模还是比较复杂，很多时候拿到数据并不清楚该做怎样的处理，选择什么样的算法。其实，在做数据分析和数据建模时，SPL也是不错的选择，它比Python更简单易用，计算速度也快，交互式的界面对数据分析十分友好，同时还提供自动数据建模功能和一些数据处理以及统计学函数，用起来也很方便。
% Z$ B: a2 D7 h% |
下面就以一份用户贷款违约预测的数据为例，使用SPL手把手的进行数据建模预测。

1. 确定目标，准备数据
4 p" H6 q: ?) C& W建模预测就是从历史数据中挖掘出规律，然后使用规律对未来可能发生的事情做出预测。这个规律就是一般所说的模型。
. O/ \0 N) {9 N6 q( w
" L) ^3 C# }, j: @  o% Q3 [- g+ ^8 }历史数据通常是一张我们俗称的宽表，比如在用户贷款违约预测的例子中历史数据是如下图这样的Excel表格：
. P* U" ~% D. s* S# t; d. x
3 }5 T2 [& \3 p首先，宽表中一定要包括我们想预测的事情，通常称作预测目标，上图中的预测目标就是历史用户的违约行为，也就是图中y那一列，yes表示违约，no表示不违约。预测目标还可以是一个数值，比如产品的销量、售价……，或者是预测属于什么种类，比如预测产品质量是优、良、合格还是差。有时目标在原始数据里就有，可以直接使用，有时目标还需要人工标注。

4 ~* ?9 |( W, h, t除了预测目标外，这里还需要很多信息，如表中的用户年龄、工作，房产，贷款情况……，这里的每一列称为变量，也就是和贷款人将来是否违约可能会相关的信息，原则上能收集到的变量越多越好。例如预测客户是否会购买产品，可以搜集客户的行为信息，购物偏好，以及产品的特征信息，促销力度等；预测汽车保险理赔风险，需要保单数据，车辆信息、车主交通习惯以及历史理赔情况等等，如果是预测健康险还需要一些被保人的生活习惯，身体状况，就医看病的信息；预测商场超市的销售情况，需要历史的销售订单，客户信息，商品信息；预测不良产品，需要生产的工艺参数，环境，原料情况等数据。总之，收集到的相关信息越多，预测效果也会越好。
0 a& ]+ C$ {1 s% h) d. F
* c+ h5 q( e0 g1 g$ [8 V$ I采集数据时，通常会截取某一段时期的历史数据来制作宽表，比如我们想预测7月份用户的违约情况，可以采集1-6月份的数据来训练建立模型。数据采集的时间范围并不是固定的，可以灵活操作，例如也可以是近1年或者近3个月等等。

) t/ }9 |% B+ i/ Y- [4 G准备好的宽表可以是Excel格式或csv格式，第一行是标题，后面每一行都是一条历史记录。
5 J. P2 u: G6 i& p
8 @5 x. w3 D6 z4 K; S9 b如果企业有建设好的信息系统，那可以找IT部门要这些数据，很多企业的BI系统中可以直接导出这种数据。

2. 下载软件，配置建模外部库
4 E+ p& H! q# ASPL 在易明建模外部库的配合下可以提供全自动化的建模预测功能。
4 T4 Z7 x! ]* s" q" R
& p8 L0 {* i+ j- k（1）下载安装集算器（SPL）和易明建模软件
集算器下载：
$ [4 C& H* y5 x1 G6 K- K“http://c.raqsoft.com.cn/article/1595816810031”

$ e7 J6 u$ k7 A' H# s易明建模下载： “http://www.raqsoft.com.cn/download/download-ymodel”

安装集算器和建模软件，并记录安装目录，比如：C:\Program Files\raqsoft\ymodel

" r! c3 q7 [8 E& V

6 T" m( h5 e, k" Y（2）在SPL中配置外部库
（a）复制外部库所需要的文件
; l! w3 s! i7 e, P+ H* Q5 A在易明建模的安装目录下找 YModelCil 和 lib 文件夹

4 |/ K% E) O, q* D+ i
: c4 W) f4 p7 ]# v% R
% G" X+ y( L* m9 G" e然后去这两个文件夹里找到建模外部库所需要的文件，复制到集算器目录（【安装根目录】\esProc\extlib\YModelCil），比如C:\Program Files\raqsoft\esProc\extlib\YModelCli。

建模外部库所需的文件有：

1>易明建模目录的YModelCil中含有以下jar和xml

# M) ?# `3 W& ?/ l' R! S, Zant-1.8.2.jar
: Q0 o2 y, z9 B: H3 m8 dcommons-beanutils.jar
commons-lang-2.6.jar
ezmorph-1.0.2.jar
" P# J# x& Q2 f$ @json-lib-1.1-jdk13.jar
7 g* s  z& k$ g2 l0 N" Xraq-ymodel-cli-2.10.jar
: Y4 A9 h1 x6 f: H# M1 T8 z" P9 Euserconfig.xml

2>易明建模的lib中含有以下jar
% j# u3 Z0 M7 ^& |
" H2 ]0 n4 F" f3 X* M7 T3 r& E6 E& R. g+ ecommons-io-2.4.jar
esproc-ext-20211104.jar
7 C# E7 o; k5 ~1 s9 Q" bfastjson-1.2.58.jar
8 V  M; J7 c* T- m5 [8 R# N* Q% Qgson-2.8.0.jar
6 o6 ~+ m) S/ S4 M2 Gjackson-annotations-2.9.6.jar
jackson-core-2.9.6.jar
7 w& ^4 g; Z4 b. o9 h! ~4 Kjackson-databind-2.9.6.jar
jackson-databind-2.9.6-sources.jar
jackson-dataformat-msgpack-0.8.14.jar
! |* I$ Z* P3 smining.jar
5 v" x; }' y: umsgpack-0.6.12.jar
msgpack-core-0.8.16.jar

: ?+ Z  |2 f/ Y0 X7 c. c$ V' ]8 Z（b）设置userconfig.xml文件参数
, A; ~; a  U8 G) Z9 d' M2 T& t在集算器目录esProc\extlib\YModelCil下的userconfig.xml文件中设置参数

" c1 U* K& [1 k9 T: {+ a名称        参数说明
& u* N2 e, A9 W9 @sAppHome        易明建模的安装目录
. j* r8 O9 E# b  Z. ]sPythonHome        易明建模目录的Python路径 Windows: raqsoft\ymodel\Python37 Linux: raqsoft/ymodel/Python37/bin/python3.7
0 k* O5 H. @, b/ aiPythonServerPort        Python服务网络端口
3 ]5 p! O2 ^: X1 D2 b6 {( i3 biPythonProcessNumber        Python进程数
bAutoDecideImpute        是否智能补缺
/ s; l8 Z7 e: t2 u( G" ?iResampleMultiple        重抽样次数
+ j3 |& D% s3 y) v+ x6 r( j其中必须要配置的参数为sAppHome和sPythonHome，其他参数可以采用默认值，有需要再进行修改。比如可以配置参数如下，加粗部分是必须要配置的，根据自己的安装路径。
6 ?- r( ?) M% K8 [. X7 ^" X# Y
<?xml version="1.0" encoding="UTF-8"?>
$ |( V5 ]% m: n& L$ b8 t$ g<Config Version="1">
    <Options>
        <Option Name="sAppHome" Value="C:\Program Files\raqsoft\ymodel"/>
                <Option Name="sPythonHome" Value="C:\Program Files\raqsoft\ymodel\Python37\python.exe"/>
) W1 ]- `( N) H5 h% h& i                <Option Name="iPythonServerPort" Value="8510"/>
# ^7 I2 L$ N. A: u: `' o                <Option Name="iPythonProcessNumber" Value="2"/>
( n4 y( o4 ~' X6 f              <Option Name="bAutoDecideImpute" Value="true"/>
                <Option Name="iResampleMultiple" Value="150"/>                               
9 O$ W. d4 B$ ]% G! w$ Z/ o    </Options>
</Config>
1
5 n  l  e  v6 t# c2 N2
3
* Y# W. W7 S& P5 n5 |4
+ ?9 \, `7 Y4 \8 f% a% {5
6
7 Z3 _$ }+ s" m8 U5 ?3 n/ j7
8
/ m& O& \4 [* \0 m6 G9
6 p8 R  X" y% H3 Q/ l: I8 J10
6 M" v. G4 f( P& U0 ~7 Y6 V0 t" D11
* j7 s7 V. B2 @0 h: H, c. G: y! E, L' Z其实，从这里可以看出，易明建模也是基于Python写的，但它将Python算法做了封装后，程序员就不必再理解算法的数学原理和运行细节了。
+ Z$ G2 p4 v: o8 }2 x
（c）SPL环境配置
1>. 配置外部库

9 T% R5 |& d" m# {& g5 U& D打开SPL，在选项菜单里，外部库选择里勾选YModelCli，使其生效。外部库的路径为第（1）步骤中集算器YModelCli的安装路径。


$ F5 I- d  \8 b: S5 i7 @& f
在无图形界面的服务器中去集算器的安装目录下esProc\config\raqsoftConfig.xml文件中进行配置外部库路径和名称。

<extLibsPath>外部库路径

<importLibs>外部库名称（可多个）
; ~. Z: p3 w( @7 n2 s( N3 i
2>. 线程数设置
' C6 L3 z. t* S) u9 [) N$ f
. i6 `: o3 ?" z1 z如果有并发预测，还需要在SPL设置“最大并行数”，也就是线程数。设置多少用户根据需求和机器情况自行设定。


( d% c! n9 v( x" ?$ W" Q* D) j% x" d
/ D+ h. u" Y" [0 P+ C' {0 H. e$ [在无图形界面的服务器中去集算器的安装目录下esProc\config\raqsoftConfig.xml文件中进行配置。

<parallelNum>最大并行数

! j' o: c/ v2 ~% y到此，环境配置完成。
; _+ r9 O" d* v
3. 建模和预测
（1）加载数据
5 g* B  n& |- x( n8 s  ^SPL能支持csv，excel或数据库中的数据用于建模，这里以csv为例，其它数据源类似。

( D' Q: S+ Q) h/ f设有一个贷款违约数据表如下，需要建模来预测新用户是否会发生违约行为。
3 ^9 h1 E& R4 S0 Z8 ^
  t; O4 S& a9 U; `
& ^- ^$ X7 M1 Q' R. b* T
文件命名为bank-full.csv；

% H5 N9 @% x% n0 l0 z! V" }4 fA
+ W% y" U3 I0 t# z1        =file("bank-full.csv").import@tc()
: E. F1 g# A* b! g, V# C! Z; f3 ?2        =ym_env()
6 o: D- U% s9 m$ I) R3        =ym_model(A2,A1)
A1 导入建模数据，读成序表

  j9 v1 w, n. M( G, X: ~- l

A2 初始化环境，执行A2后会在易明建模的安装目录下生成store目录及子目录用以保存数据及结果文件。
: k. t% q% D" ?: _9 l, ]
A3 加载建模文件，生成md对象

（2）目标变量设置和变量统计
数据加载进来后要设置目标变量

A
…        …
" @/ r6 R8 S) h6 C4        =ym_target(A3,"y")
5        =ym_statistics(A3,"age")
7 _* x/ i$ _0 q( b, R6        =A1.fname().(ym_statistics(A3,~))
, h/ e: F* W/ @. x1 ^% j  zA4 表示将字段“y”设置为目标变量，目标变量可以是二值变量或数值型变量。

! W1 U4 j: p" a: oA5 查看某个变量的统计指标，比如 “age”，返回值中可以看到缺失率，最大最小值，异常值，数据分布图等参数。

7 n/ b) E/ A5 R( O- d
( i- Q* O) [% F
A6 循环变量名查看所有字段的统计信息，返回包含所有字段的统计信息二级序列。

# Y( ?0 V9 b! S* I

（3）建立模型和模型表现
A
…        …
7        =ym_build_model(A3)
8        =ym_present(A7)
- k: L4 ]7 A; ^$ d% J( D7 ~! ~9        =ym_performance(A7)
10        =ym_importance(A7).sort@z(Importance)
A7 使用建模函数建立模型，执行后在后台会进行全自动化数据预处理和建模过程，此过程会耗费一些时间，时间长短取决于数据量。结果返回pd模型对象。
8 p3 k' @! l, r! M1 c
模型建好后，可以调用pd模型对象查看模型信息、模型质量和重要度。
9 [( k# Z4 ?/ L4 d- f/ i
2 S" m* E5 P& p* J' BA8 返回模型AUC值及参数
3 j3 ?3 f7 t) m4 e3 b( E9 \

7 y( q) u- \# V/ ?2 D- Q! ~* a
A9 返回多种模型指标和图形，诸如AUC，ROC, Lift……
' c2 A7 \9 [5 h

3 k% j( N( t9 Q% Z1 w' e5 b
( L0 t  w. l$ R  l# L' I比如点击A9的第6条记录的Value，然后点击右上角“图形浏览”图标，数值字段选择“Lift”，就可以查看Lift曲线

2 f- O/ h- n" {4 p* i  j

- D* L; {7 Q9 C1 A7 M2 {A10 会返回每个变量对目标变量的影响程度并且按照重要度降序排列。数值越大对目标变量的影响程度越大。降序排列分析起来更加直观。



（4）保存模型
A
5 ^4 `& C# |4 g3 ^: N…        …
11        =ym_save_pcf(A7,"bankfull.pcf")
5 a0 T: m/ ~1 G; x12        =ym_json(A7)
+ P3 U  `5 M2 Q! W9 A13        >ym_close(A2)
A11 将模型保存为”bankfull.pcf”，默认保存路径为[sAppHome]/store/predict。
" W7 Q$ B3 h, @5 S: c
$ a. b6 ?4 H8 \/ o  {8 e( FA12 将模型信息以json串形式返回。json内容详解可参考在线文档《json参数说明》

" C# `% U/ E& e, ~  e* YA13 关闭环境，释放资源。

2 \2 P" Q$ G4 p1 N$ R（5）预测
预测之前需要有pcf模型文件和预测数据集

% e! _, A- Q0 u: `1 N9 wA
6 B' R5 j2 k% f1        =ym_env()
' {& K4 o0 G# S7 l2        =ym_load_pcf("bankfull.pcf")
3        =file("bank-full2.csv").import@tc()
1 T% I6 S, v$ p6 F" e4        =ym_predict(A2,A3)
5        =ym_result(A3)
6        =file("bank-full_result.csv").export@tc(A4)
, H* d8 b' ^, _0 w8 }7        >ym_close(A1)
A1 初始化环境

A2 导入pcf模型文件，生成pd模型对象。

A3 导入预测数据集，读成序表

A4 对序表数据执行预测。除序表外，还支持游标、csv文件和mtx文件，比如A4也可以直接写成ym_predict(A2,“bankfull2.csv”)
( Z. q/ K+ y) C& I% S$ w+ `" ^
( p, n/ K: d8 p$ pA5 获取预测结果

A6 将预测结果导出，在本例中预测结果为用户发生违约行为的概率。

( S) A* B/ q$ ?& i0 R3 x
A7 关闭环境，释放资源

# b* f+ @# J/ M4. 集成调用
" D# F: A7 I+ H# i6 SSPL还可以被上层应用集成调用，比如SPL可以嵌入到Java应用，详情请参考：http://c.raqsoft.com.cn/article/1615765346560
# T  z4 v: B* u8 ~: `3 e8 M
6 [, ^4 s" u+ ^! L6 ?9 x总结
使用SPL配合易明建模来实现数据建模预测非常简单，程序员不需要理解深奥的数学原理，只要准备好训练数据，简单几步就可以完成数据建模任务了。而且还可以轻松地把这个功能嵌入到应用程序中，高深的人工智能不再是少量数据科学家的专利。

( b0 O- y$ O. H' dSPL本来就超强的数据处理能力，能更方便地完成人工智能算法之前的数据准备工作，同时也提供了丰富的数学函数： SPL Math 例程，有些数学基础想自己实现建模过程的同学也可以进一步研究。
* q# J; M. D* L- L————————————————
, x. E% r( x0 k6 z5 J版权声明：本文为CSDN博主「java李杨勇」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
( `9 U& L7 m$ \* \' h% f3 S原文链接：https://blog.csdn.net/weixin_39709134/article/details/126698462

4 P* a! i' h! N" K' O