" V# _2 B }5 `% H" s右通算法(数据挖掘):LR、RF、XGBoost、SVM等常见算法。对跨领域转行过来的同学来说,算法这块,既有趣,又神秘,关键还难懂,让人又爱又恨。好的算法工程师,需要扎实的计算机算法、算力、数据结构等基础,需要扎实的概率、统计、多元回归、矩阵等基础,我等渣渣励志做算法的话,3~5年起步吧。5 V, Y( o5 U1 y% t4 R! S+ [+ V
+ n _. X) |1 z4 s. |* B2 t, c
核心懂业务:P2P、消费分期、现金贷、传统金融、大额、小额、信用卡、车贷、抵押、资产、标的等业态;风险定价、反欺诈、信用循环、信审、提额等环节;滚动、迁徙、账龄、递延、回收、坏账等指标。要懂的东西,也多也不多。1 j# E1 ?* m% c' F; l" ]7 w N
1 }2 N. d Z3 a# O* E. v 所以,除非奔着算法工程师去,否则最好的入行策略就是熟知行业业务流程,从数据库、数据提取、数据挖掘、数据分析、风控建模等岗位中择一良木而栖,夯实基本数据提取、挖掘、建模等流程所用到的技术。算法这块儿,只需要掌握常用LR、树模型等算法的原理,能够使用编程工具实现即可。2 L% ^2 j/ `- u0 r P, v$ s
( X% \5 i. Y. D7 r+ I% `$ E% i
) K; `/ S9 N& _; g
画个VISIO: / b- e4 ]/ \' l- @* T) A, b3 g2 i4 l8 u$ \
所有知识点都掌握,并且能够熟练运用,已然建立体系,胸有成竹,你就可以骄傲的自封一个全能数据战士的名号了,简直朝阳区中最靓的仔。(悄悄说一句,全栈离经理和总监更近,产品、前后端都得给你点个赞) 6 c% {1 e& {( s$ }, J( M$ |0 y4 [$ T8 A# e5 D# y* h
那针对金融风控岗,我们的面试准备工作,就从以上几点出发,重点从模型着手。 # @0 F: U+ p0 L& H& c: M" Y, @) J# j% {" e2 z
1、行业经验 4 @# W' L& j: @7 c& q ; z! X/ @4 a& g互联网金融风控岗位的业务理解,比如:信用循环体系;核拨率、递延率、坏账率等运营指标;滚动率、账龄分析等分析指标。 l" V$ d( T }/ u- n5 a
风控模型的开发流程,比如:信用模型评分卡的开发、上线、优化等过程及方法。 & D; O F, P' g# O% E5 P: b0 H2、知识基础 # P- B. F6 @4 ~7 c$ D0 Z3 r, Q+ s 0 K9 g5 G" o2 ]" G# Q$ _) u- X(以下详细内容请看笔者其他相关文章)/ O. q% A+ m F, o* L3 N* |5 S
$ b- q0 |2 L- e2 b t数据存取与处理: 基础能力,这是数据分析类工作的技能基础,也是任何一个数据类工种都需要的基础能力,不熟练的话就再学一段时间。 8 G# m3 }4 J+ b; |6 X8 q; o统计学习: 机器学习的基础是概率论与统计学习,这块儿你可以不必特别扎实,但像五位数、方差、正态分布、相关系数、假设检验常用知识点得了解并掌握。' n) Q& z, B7 o3 t- i
数据挖掘: 不论是规则还是评分卡,风控建模类工作的大量工作内容就是对用户特征的挖掘、定义、扩展、转换、处理、分析、运用,以产生对业务有帮助的决策数据。所以特征工程来龙去脉需要懂,并且会熟练使用。 A& D! U7 W/ Z- M( j- Q
常用算法: 用于特征工程及建模工作,同样不必全懂,但一到两种常用算法的推导及一到两种融合算法的原理必须掌握,常用的元模型为逻辑回归、决策树;常用的融合模型有随机森林;神经网络则有ANN。 + w }1 H9 @6 V/ |3、代码能力 ; |# ]% b+ N7 u: u2 ~! _' o6 h' _" d7 T3 i8 r' H
python | R | sas,把一门代码类工具运用熟练即可。就python而言,像pandas、numpy、statsmodels、sklearn,这几个包学扎实就行。" w+ O( D0 C5 ]& ?: w# [
(选工具的话,建议python,别问为什么,怕被隔壁用R、spss、PHP、java、excel的媛儿们暴锤) , Y6 z4 }$ O8 P& m0 z. j' G: e 2 R. E; p+ ?2 @) l( c二 面试问题. ?$ X" y% S* D2 \
5 C, N8 B" R3 `, B+ e2 {8 {
1、风控建模 , _/ |' P5 k. \" `5 c. B" [: x 5 y' j6 f* q) M6 o3 S2 A' w4 R谈谈你对风控模型的理解? & |8 _' l A% y. B, F3 n0 U" v9 O
模型如何设计?( |0 m$ d4 E- F8 D9 [
可以从滚动率、迁徙率来回答,也可以从反欺诈、ABC卡回答。 : B% I8 l+ u+ M' o: R- x& @* j
对客群进行细分建模的本质是什么? 5 r. M( ^9 Z* G其实分客群进行建模,实质也是一种交叉特征,能提高模型稳定性。5 B" b% d" i5 h2 F' @% O5 f* x
: Q u$ z) B1 b) p
拒绝推断应该怎么做,作用是什么?效果怎么样? + v8 d7 k+ j* V: _(多查资料,博学审问慎思明辨)3 m w6 F, N- C- M' s
# N; `6 A+ W* q+ u/ a0 Y0 G3 X9 p& P$ v简要说明下标准评分卡开发流程. C" ` b2 |) x
(多查资料,博学审问慎思明辨) 7 k$ y: b5 e1 A) _* i7 g ]! c8 c# Z; b- H
2、特征工程 5 d+ r- m6 |# r- m( P/ r/ {5 `4 M# W E+ @% J
如何对数据做质量检验?' a( |0 n. D' S* b+ a
在完成数据匹配工作之后,建模之前,我们需要对数据进行整体的质量检测,主要有两个方面: 4 V4 n7 ?9 j1 C' @1、数据分布。/ Z/ K3 K& M. w' B$ V- b
2、数据集中度检测。 + r+ i! j, N0 ~3、数据脏乱情况。缺失值(是否隐藏风险)、离群值、错误值、重复值,根据其是否符合业务逻辑,判断数据是否存在异常。 , ?" ~) G# @6 _8 A% L# m% ?特征工程流程, B0 o/ j' \, n0 V4 c0 C' F
关键词: 特征预处理、特征选择、特征衍生、特征提取等。用到的技术主要有连续变量离散化、分类变量哑编码、卡方分箱、特征编码、共线性检验、PCA降维、交叉验证等。+ e. }1 k) P+ x7 l6 p
筛选变量的常用方法% q. X9 S. y$ a0 W
筛选变量有很多种方法,随机森林、GBDT、逻辑回归显著性、VIF共线性、相关性图谱等、随机逻辑回归筛选、递归法筛选等。 ' I4 r1 H7 T2 ^! h好的特征需要具备哪些优势?0 E4 G4 [- ~: M
1、稳定性高- {" l; x6 Q/ H9 Z) `
2、区分度高 0 V# g# Q3 U, V; s5 s3、差异性大 7 C- i3 F! `6 p9 M0 n( L; W4、符合业务逻辑$ f% h1 ^1 ` E. T' h/ g
如何衍生特征?6 d( R* E* H) p
变量的衍生并不复杂,通常我们会从三种角度出发: * K2 S/ U8 [; x( l- S1、数学运算。求和、比例、频率、平均等。 7 u% Y# Y( _0 U9 ?2、时间窗口。有些变量的意义只有在一段时间内才有效,所以针对时间比如说注册如期、交易日期等变量,需要计算其到现在的时间段,完成变量的衍生。 , j- @8 f1 M2 S( v3、交叉组合。GBDT\XGBoost、LDA主题模型、用户画像分等等都可以做特征衍生。 9 x1 T9 x9 b* \; A衍生出来的特征要符合实际业务含义,并且要保持稳定。 0 @1 n" ~+ } L# C2 R/ @- \3、机器学习算法/ c( y* C3 f& P7 L) ^- M- _, g% k& O
9 t8 |4 ?% U" \7 V) P; C$ ^简单介绍你熟悉的几种算法及其在应用场景中的差别! : x- x" ?* n8 y7 D+ u一些基本公式的推导,比如LR、xgb之类的,这些可以自己推导一下。 " y, L* @, t+ l/ H6 z简单评价几种常用算法的优缺点:; @ L5 P7 `1 B
1、逻辑回归; X6 E2 U; V9 K+ J7 Q& T& p- }9 i2 M
优点:简单、稳定、可解释、技术成熟、易于监测和部署" K- X6 K& @9 ?: b7 }
缺点:一定不能有缺失数据;必须是数值型特征,需要编码;准确度不高 3 F, X1 E: Q) e2、决策树1 ^* B+ h( |, v* s
优点:对数据质量要求不高,易解释 1 |- h+ D: Q# E缺点:准确度不高 ' P( D; T3 Q6 B3、其他元模型 ' j+ @" _% W4 L8 u1 o& X; l0 j4、组合模型 4 j9 B9 q; z' l3 M优点:准确度高,稳定性强,泛化能力强,不易过拟合 - q# M* T8 Q( \/ C1 z: M( V; v缺点:不易解释,部署困难,计算量大 ; [$ k, D# e" B4、模型评估- T6 }% y! d3 }+ i
- X6 S( F! [5 B r
模型评估的常用方法? " e9 B `9 q, ]" K: f从三方面回答: 1 f' S4 M) F; r1、区分度:主要有KS和GINI指标,理解KS的定义及用法. ^9 G. z7 m; }1 S- G
2、准确性:主要有roc曲线和AUC指标,理解AUC的定义及用法 % i4 s. N1 j$ T3、稳定性:主要有PSI指标,理解PSI的定义及用法: ~# N* H+ a& G Z5 R9 W9 X- n
auc和ks的关系?2 \& _6 p3 G8 J+ [- s6 m
有人说auc是衡量整个模型的排序能力,KS是衡量某个分段的区分能力。 ) ^; X; I3 d9 K" B5、模型部署( @) ~3 y4 s% |# Z6 _: S