数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

( Y: C7 y+ M/ K3 ?知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

最著名的数据挖掘标准流程：CRISP-DM

全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
' R6 E( Z1 o. Y4 ?
) ~5 R% R8 C/ y* q7 M0 V! j(1) 业务理解：分析需求、初步收集数据和指标

& _) X. q* N: @6 Z8 q3 R6 O(2)数据理解：理解各个数据字段的含义所记录的业务信息。

- P  i1 J( k- {4 b# L* _( M(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
. x% v( w3 U# e9 C
(4)建模：参数调整使模型最优。

(5)评估：评估、挑选最佳模型。
$ y4 z# {+ l- d7 x
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

SAS数据挖掘方**：SEMMA

( P7 O7 u. p  U" a* _5 E: W1 k/ F(1)Sample-数据取样

2 C0 ]& X: r6 x3 H8 Q9 b(2)Explore-数据探索

9 E4 n5 Q5 b7 {% j/ Y- h2 i(3)Modify-数据修正
& |/ U7 `' C! ~! o4 ^
(4)Model-建模
/ V$ i- A6 ^3 N6 w* w. Z$ p
( a0 w; V6 Q' t. J6 e: T(5)Assess-评估
3 s9 v% J; U1 Y" p2 |1 q
0 a4 F  [& M* q# ~- c. ~
; d& \$ N; \6 G# o二、经验谈
9 \8 e( B: K$ ~% l7 ]* H  i4 h
(1)明确要解决的问题
- n- H& |' E+ e" ~
(2)确定最终评估标准

4 y+ X0 y* I$ |2 y* x9 ?/ E: `(3)设定期望方案

$ n  ^" f% X+ r7 P- g4 u' g(4)简单项目到复杂项目
1 r5 r6 p* @: P. p7 w
  p  D" F8 Z" p" ^2 o* s+ m0 P(5)团队合作，协调沟通

(6)避免陷入数据垃圾
0 ]* D& L5 f* P6 E3 U

8 x; w) F( }5 x! o  Z