数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
6 l* K6 J( l/ ~
- g* [, S% T1 G& v: l, v1 m知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
0 }. u9 ?  s: K5 O
最著名的数据挖掘标准流程：CRISP-DM

) m/ e: p8 Y  D全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

( X4 s3 l$ M4 ^6 J+ |% _(1) 业务理解：分析需求、初步收集数据和指标

  B; t, i+ p3 p3 ]6 Y7 p* A(2)数据理解：理解各个数据字段的含义所记录的业务信息。

(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
7 T7 I6 |# ~! V+ K+ \9 \
(4)建模：参数调整使模型最优。
* ?/ `$ V# g& s! W; c+ a7 o
(5)评估：评估、挑选最佳模型。
& |7 a# l7 Q. G/ x2 g$ J, P/ u
+ G  ?. _0 s) h& s# c& ](6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
" M$ d- d& g7 Y* H0 G9 d* R
SAS数据挖掘方**：SEMMA

(1)Sample-数据取样

(2)Explore-数据探索

(3)Modify-数据修正
5 G$ J2 Q! Y8 u: ~# }
9 L: m! Q) u4 R3 ?/ p. G5 y8 \(4)Model-建模
+ g: T* e. D& f
(5)Assess-评估

1 I. q) a' w$ Z3 f: C' @6 O
) A! v# n1 \; p+ }& n" n二、经验谈

+ K  V% J6 \- O( U5 s) [. ](1)明确要解决的问题

; f3 r- }! P  x- q' E$ I) m(2)确定最终评估标准

; j8 j4 c2 \8 }4 }( [1 k(3)设定期望方案
2 [# V: Q0 t5 G3 ^" i" H
: K' M0 w' {* A& v. T(4)简单项目到复杂项目
# V, R* w$ E4 B0 S: ^
' m* {" g8 M  \& J(5)团队合作，协调沟通

(6)避免陷入数据垃圾

( m; o" p3 ]0 K! ^- S
7 d: G8 b6 l+ [' X* Z2 @6 ^