搞 AI 建模预测都在用 Python，其实入门用 SPL 也不错

杨利霞

搞 AI 建模预测都在用 Python，其实入门用 SPL 也不错
# A8 W3 O; @- V9 H" V8 U* z' F
可用来做人工智能建模预测的工具非常多，比如Python, R, SAS，SPSS等，其中Python由于简单易学、丰富的数据科学库、开源免费等特点备受欢迎。但是对于不太熟悉数据建模算法的程序员来说，使用Python建模还是比较复杂，很多时候拿到数据并不清楚该做怎样的处理，选择什么样的算法。其实，在做数据分析和数据建模时，SPL也是不错的选择，它比Python更简单易用，计算速度也快，交互式的界面对数据分析十分友好，同时还提供自动数据建模功能和一些数据处理以及统计学函数，用起来也很方便。

下面就以一份用户贷款违约预测的数据为例，使用SPL手把手的进行数据建模预测。

1. 确定目标，准备数据
建模预测就是从历史数据中挖掘出规律，然后使用规律对未来可能发生的事情做出预测。这个规律就是一般所说的模型。

历史数据通常是一张我们俗称的宽表，比如在用户贷款违约预测的例子中历史数据是如下图这样的Excel表格：

7 B+ V/ S5 x3 j5 w首先，宽表中一定要包括我们想预测的事情，通常称作预测目标，上图中的预测目标就是历史用户的违约行为，也就是图中y那一列，yes表示违约，no表示不违约。预测目标还可以是一个数值，比如产品的销量、售价……，或者是预测属于什么种类，比如预测产品质量是优、良、合格还是差。有时目标在原始数据里就有，可以直接使用，有时目标还需要人工标注。

4 d+ A2 j# z* P  H. X除了预测目标外，这里还需要很多信息，如表中的用户年龄、工作，房产，贷款情况……，这里的每一列称为变量，也就是和贷款人将来是否违约可能会相关的信息，原则上能收集到的变量越多越好。例如预测客户是否会购买产品，可以搜集客户的行为信息，购物偏好，以及产品的特征信息，促销力度等；预测汽车保险理赔风险，需要保单数据，车辆信息、车主交通习惯以及历史理赔情况等等，如果是预测健康险还需要一些被保人的生活习惯，身体状况，就医看病的信息；预测商场超市的销售情况，需要历史的销售订单，客户信息，商品信息；预测不良产品，需要生产的工艺参数，环境，原料情况等数据。总之，收集到的相关信息越多，预测效果也会越好。
5 Y+ e6 g# U' c: T, D
  Z( x9 X0 j) w: u# f4 H3 E采集数据时，通常会截取某一段时期的历史数据来制作宽表，比如我们想预测7月份用户的违约情况，可以采集1-6月份的数据来训练建立模型。数据采集的时间范围并不是固定的，可以灵活操作，例如也可以是近1年或者近3个月等等。
) a' S* {# d; p" [, [7 i8 v
+ i0 I" P- p8 {$ j; r准备好的宽表可以是Excel格式或csv格式，第一行是标题，后面每一行都是一条历史记录。
2 V" ]4 |" h: E
如果企业有建设好的信息系统，那可以找IT部门要这些数据，很多企业的BI系统中可以直接导出这种数据。
, ?- W+ a  ~1 L+ _( ], Y' ?# m( e
2. 下载软件，配置建模外部库
6 h1 w& Y. I& ]. M/ x& L, aSPL 在易明建模外部库的配合下可以提供全自动化的建模预测功能。
' Q  {" d! m, {' B
（1）下载安装集算器（SPL）和易明建模软件
/ i' n: B& Q" D- p集算器下载：
# x7 E8 o6 h7 p( b2 F“http://c.raqsoft.com.cn/article/1595816810031”
; D8 R8 x; k. Z7 w- U6 N5 J: L) x9 w2 D
' \4 u+ d! U" h" x# z9 v易明建模下载： “http://www.raqsoft.com.cn/download/download-ymodel”

4 Q) F' O( t0 p. i! s3 J5 L安装集算器和建模软件，并记录安装目录，比如：C:\Program Files\raqsoft\ymodel
; H5 u# `+ a0 m
/ T7 z- |) f( t! E! e* b+ ]
* L9 V$ L5 p) p# {3 C
（2）在SPL中配置外部库
+ _( k0 L. u# q( ^# ~5 C（a）复制外部库所需要的文件
在易明建模的安装目录下找 YModelCil 和 lib 文件夹


9 G" \' F: l1 d, Q6 C1 t
然后去这两个文件夹里找到建模外部库所需要的文件，复制到集算器目录（【安装根目录】\esProc\extlib\YModelCil），比如C:\Program Files\raqsoft\esProc\extlib\YModelCli。

7 k( z- D7 y' b. X8 q5 {7 Q8 z9 c; ]建模外部库所需的文件有：

% k1 r! r) [- f* _% ^  H. M1>易明建模目录的YModelCil中含有以下jar和xml

ant-1.8.2.jar
, j+ E9 k6 A% icommons-beanutils.jar
$ D4 F! W% V4 [1 h; H6 A* U5 Ucommons-lang-2.6.jar
3 l; w% W, T8 mezmorph-1.0.2.jar
json-lib-1.1-jdk13.jar
raq-ymodel-cli-2.10.jar
userconfig.xml
; [+ ?9 V& m% p4 ^6 J* ^
% Z/ e4 m7 k: C  v6 D3 f2>易明建模的lib中含有以下jar

commons-io-2.4.jar
esproc-ext-20211104.jar
- D* B4 q+ I3 w: x* W' s9 E1 Cfastjson-1.2.58.jar
gson-2.8.0.jar
  v8 y& D3 N$ m7 {: _0 t2 Mjackson-annotations-2.9.6.jar
( X. [2 M/ K. b) \6 p5 R) o3 kjackson-core-2.9.6.jar
) J, q7 n+ S& _$ x7 S2 ]jackson-databind-2.9.6.jar
jackson-databind-2.9.6-sources.jar
jackson-dataformat-msgpack-0.8.14.jar
mining.jar
msgpack-0.6.12.jar
" ?4 `# s/ {& w: v+ nmsgpack-core-0.8.16.jar

（b）设置userconfig.xml文件参数
在集算器目录esProc\extlib\YModelCil下的userconfig.xml文件中设置参数

名称        参数说明
sAppHome        易明建模的安装目录
- F( N+ R, `2 esPythonHome        易明建模目录的Python路径 Windows: raqsoft\ymodel\Python37 Linux: raqsoft/ymodel/Python37/bin/python3.7
! G( I4 X' e0 h2 L+ _/ s% S$ u* OiPythonServerPort        Python服务网络端口
iPythonProcessNumber        Python进程数
6 w8 ~/ Y. p( C' e$ ~9 |9 R4 a! ObAutoDecideImpute        是否智能补缺
( u  q1 t( G4 j# k1 w: JiResampleMultiple        重抽样次数
$ X3 n7 O" O, G7 K其中必须要配置的参数为sAppHome和sPythonHome，其他参数可以采用默认值，有需要再进行修改。比如可以配置参数如下，加粗部分是必须要配置的，根据自己的安装路径。

<?xml version="1.0" encoding="UTF-8"?>
<Config Version="1">
    <Options>
        <Option Name="sAppHome" Value="C:\Program Files\raqsoft\ymodel"/>
( q6 P7 x+ ^: Q3 U$ j- ?                <Option Name="sPythonHome" Value="C:\Program Files\raqsoft\ymodel\Python37\python.exe"/>
                <Option Name="iPythonServerPort" Value="8510"/>
                <Option Name="iPythonProcessNumber" Value="2"/>
              <Option Name="bAutoDecideImpute" Value="true"/>
& N. L/ A1 s$ |  n) D5 N1 Q& J                <Option Name="iResampleMultiple" Value="150"/>                               
; Z; J$ M2 u% h/ i5 n( X! ]    </Options>
</Config>
- N2 ^9 k% ^. T& L! a7 ^, }1
2
  K3 N8 l$ d! c6 U3
4
- F6 L* T# }, p5
6
7
8
$ W0 a# {- X, {; [( e7 |0 ?, ]9
10
11
其实，从这里可以看出，易明建模也是基于Python写的，但它将Python算法做了封装后，程序员就不必再理解算法的数学原理和运行细节了。

& S0 P6 X8 `# P& ?6 A% h（c）SPL环境配置
1>. 配置外部库

0 D* M' y$ y% l) C打开SPL，在选项菜单里，外部库选择里勾选YModelCli，使其生效。外部库的路径为第（1）步骤中集算器YModelCli的安装路径。
- R( K; }- u9 i
' I: F! m4 }7 B& u! m$ h
0 j* J$ ^" `8 M& f6 P
! {; C2 r' q" D5 z7 M3 `在无图形界面的服务器中去集算器的安装目录下esProc\config\raqsoftConfig.xml文件中进行配置外部库路径和名称。
- Z- u0 |& Q3 M3 V  L
<extLibsPath>外部库路径
& X! Q2 B! G% M  X* U/ _7 D
<importLibs>外部库名称（可多个）
; I& v$ X" b0 l( l' x3 _. a7 f" z; L
7 l# S, N6 f* E2>. 线程数设置

: W  K) a4 k- D) l如果有并发预测，还需要在SPL设置“最大并行数”，也就是线程数。设置多少用户根据需求和机器情况自行设定。
+ L! r" y, l0 k3 ]$ k
" I* k1 ^; F: P; X

" K  m9 U2 {' h- q+ G) _3 |在无图形界面的服务器中去集算器的安装目录下esProc\config\raqsoftConfig.xml文件中进行配置。
$ Q8 i1 S7 w0 [
<parallelNum>最大并行数

到此，环境配置完成。

3. 建模和预测
1 ^, o7 Y/ i: r. b  R; t（1）加载数据
SPL能支持csv，excel或数据库中的数据用于建模，这里以csv为例，其它数据源类似。
2 \3 H2 `* b0 X* k% H1 g: a/ _
设有一个贷款违约数据表如下，需要建模来预测新用户是否会发生违约行为。



) S; u+ E9 {9 ]1 T3 E* x8 p# U文件命名为bank-full.csv；
' }0 |3 `4 d# y  o( R1 E% K/ x0 {
A
1        =file("bank-full.csv").import@tc()
2        =ym_env()
3        =ym_model(A2,A1)
A1 导入建模数据，读成序表
! T+ j. r7 ?! k9 r

/ \1 e" i8 _( p0 p/ E3 @9 N, z
) f. {' X) }1 E0 U# _- B0 L4 AA2 初始化环境，执行A2后会在易明建模的安装目录下生成store目录及子目录用以保存数据及结果文件。

1 m6 ~/ V9 c# K( E8 p- U9 s$ LA3 加载建模文件，生成md对象

（2）目标变量设置和变量统计
3 k$ x3 j6 k, c- f数据加载进来后要设置目标变量

# N! r6 S9 j' T6 {( d6 KA
…        …
& M1 V1 X$ Q1 k0 _4        =ym_target(A3,"y")
5        =ym_statistics(A3,"age")
: u9 G( s  d2 x: g# t* t) P6        =A1.fname().(ym_statistics(A3,~))
A4 表示将字段“y”设置为目标变量，目标变量可以是二值变量或数值型变量。
  u* G* `$ ^- H& F
* ^8 f2 ^' b4 AA5 查看某个变量的统计指标，比如 “age”，返回值中可以看到缺失率，最大最小值，异常值，数据分布图等参数。
$ [1 H4 D5 X' q


A6 循环变量名查看所有字段的统计信息，返回包含所有字段的统计信息二级序列。
; c; `4 |8 x- g) n% V, d' Z
6 V: Y, ]* J+ u: V7 m; Y
# G( V8 [# p( A: t! f
/ C/ G. G' g: K（3）建立模型和模型表现
A
…        …
/ G8 D% f4 c9 a0 I' w% w7        =ym_build_model(A3)
8        =ym_present(A7)
9        =ym_performance(A7)
0 M- o0 p9 ]; J% @4 m  ?8 n% ~10        =ym_importance(A7).sort@z(Importance)
  E- U2 f0 O4 x/ f& VA7 使用建模函数建立模型，执行后在后台会进行全自动化数据预处理和建模过程，此过程会耗费一些时间，时间长短取决于数据量。结果返回pd模型对象。
$ }5 g3 p- F/ B
模型建好后，可以调用pd模型对象查看模型信息、模型质量和重要度。

( `3 l: D0 ~1 I3 o9 b  ^, DA8 返回模型AUC值及参数
; i, f, m4 m! q2 R
1 N6 S- X$ y( c0 p; T
% ]' ~2 P9 C, W4 {/ ^6 k6 \
( k  ~. G8 C1 x5 |: D; RA9 返回多种模型指标和图形，诸如AUC，ROC, Lift……


$ Q% Y/ J  Z9 ^; m4 m" k
4 ]' f3 s" s- A  i) ?' O比如点击A9的第6条记录的Value，然后点击右上角“图形浏览”图标，数值字段选择“Lift”，就可以查看Lift曲线
0 Q1 i0 R( O8 Q) @! q, t

% Q. f( `  P" P' c; R
A10 会返回每个变量对目标变量的影响程度并且按照重要度降序排列。数值越大对目标变量的影响程度越大。降序排列分析起来更加直观。

7 g. }8 \6 P. z$ L
4 I8 W- B. p! A7 ~8 p5 }  i, @
* |; U( G6 V7 B/ e: {8 [! I% X& U, A（4）保存模型
A
…        …
11        =ym_save_pcf(A7,"bankfull.pcf")
12        =ym_json(A7)
13        >ym_close(A2)
6 w5 D& W7 x: I0 t7 F. TA11 将模型保存为”bankfull.pcf”，默认保存路径为[sAppHome]/store/predict。

A12 将模型信息以json串形式返回。json内容详解可参考在线文档《json参数说明》

A13 关闭环境，释放资源。
( @- o* b7 h0 T) o* f8 |
+ v! S& @) C5 L9 }: i" Y( K（5）预测
预测之前需要有pcf模型文件和预测数据集
% l" `5 [7 ^& s2 }4 h$ B2 ?, i
A
; p3 Z# x9 d+ c; H- L5 U6 a1        =ym_env()
2        =ym_load_pcf("bankfull.pcf")
3        =file("bank-full2.csv").import@tc()
5 M6 j1 m1 i1 I+ m$ Z4        =ym_predict(A2,A3)
1 t6 t- Z% n' A" K- m; S2 B5        =ym_result(A3)
6        =file("bank-full_result.csv").export@tc(A4)
  U/ l. S$ k0 C$ U( d7        >ym_close(A1)
, S: Z5 M* p+ X: [A1 初始化环境

A2 导入pcf模型文件，生成pd模型对象。
7 q# r6 z: R+ i
A3 导入预测数据集，读成序表
2 ?3 x4 q& W. Q" \" _& N
A4 对序表数据执行预测。除序表外，还支持游标、csv文件和mtx文件，比如A4也可以直接写成ym_predict(A2,“bankfull2.csv”)
8 v, M  f* e' J8 I6 }; d2 Z
A5 获取预测结果

1 T+ w8 c/ V' ?A6 将预测结果导出，在本例中预测结果为用户发生违约行为的概率。
. z. Y; @+ J' ]. P& [  v9 j8 M3 {
2 l6 B5 t% }) a# h
A7 关闭环境，释放资源

2 O3 s2 g' o  i( d6 X2 ~( ~4 r9 S4. 集成调用
SPL还可以被上层应用集成调用，比如SPL可以嵌入到Java应用，详情请参考：http://c.raqsoft.com.cn/article/1615765346560

总结
* [+ b# y* |' G; v5 u# t; S' {使用SPL配合易明建模来实现数据建模预测非常简单，程序员不需要理解深奥的数学原理，只要准备好训练数据，简单几步就可以完成数据建模任务了。而且还可以轻松地把这个功能嵌入到应用程序中，高深的人工智能不再是少量数据科学家的专利。

+ }6 I1 |0 {4 Z9 `. \( x* b4 bSPL本来就超强的数据处理能力，能更方便地完成人工智能算法之前的数据准备工作，同时也提供了丰富的数学函数： SPL Math 例程，有些数学基础想自己实现建模过程的同学也可以进一步研究。
————————————————
版权声明：本文为CSDN博主「java李杨勇」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
% o4 [' s- h) ~; U. b- J! @& X& M原文链接：https://blog.csdn.net/weixin_39709134/article/details/126698462

) r. R+ g3 p( j. {4 }& ]8 N