数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
8 [! f  K1 A- X$ K3 S, n
- c' u3 V/ d) R5 c. T7 m3 H3 d% \最著名的数据挖掘标准流程：CRISP-DM

1 P3 U, J: Z1 ?( W  \全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

" F$ j0 `6 h% j3 B! x% f# E% I. r(1) 业务理解：分析需求、初步收集数据和指标
5 D+ W+ g$ s2 ?
( A8 O2 @+ z) H# D9 @; j7 n5 u% ^(2)数据理解：理解各个数据字段的含义所记录的业务信息。

(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。

(4)建模：参数调整使模型最优。
' y( v" s- a* b; Q5 _( G3 t1 {
(5)评估：评估、挑选最佳模型。
2 N2 a5 {5 r# `. Y
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

) e; r* l% R+ _: [  J9 {. R6 N1 k3 VSAS数据挖掘方**：SEMMA

(1)Sample-数据取样

- A+ b+ P1 G0 z# T0 w! h/ y(2)Explore-数据探索
' j7 E/ ]- W! }% K& F# o* T) `( U
; R. X' c# G+ \; t3 q(3)Modify-数据修正

2 Q: O) N- j4 `(4)Model-建模
! u4 Q8 u1 _* ]' ^
(5)Assess-评估


+ u" b1 O  b# _  y二、经验谈
: Q8 T. W+ }) P* R/ j" g/ }( E
(1)明确要解决的问题
! D; B5 N/ h9 t# Q( }( a
(2)确定最终评估标准
% N* J1 m1 J% v% t: r
3 r$ W: N0 z0 p(3)设定期望方案
- V  ~* e# F" t1 Y
(4)简单项目到复杂项目
3 M  R7 s) ?9 `4 F& q9 ^0 `
. s+ \& M# u  `! n$ ~$ G(5)团队合作，协调沟通
; H8 K+ e" i* z; x
+ v. ~5 ~5 O# T  u(6)避免陷入数据垃圾

" J, U3 b/ [/ E  ?' r3 T( \
" `8 m8 E2 ], B: {, U5 ]