数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
2 l) d2 C! ~# z2 N/ R
2 a* v( m9 D& `知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
" `3 {" d; w3 G0 Q1 ]
最著名的数据挖掘标准流程：CRISP-DM
2 x! L& G9 x! j8 [% ~8 q* }5 T
. t. \) A- l! }( l7 y全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
& o3 V+ p6 c0 ~) l" x0 H
(1) 业务理解：分析需求、初步收集数据和指标
) P0 A( |1 r  S
(2)数据理解：理解各个数据字段的含义所记录的业务信息。
8 Y( ?8 g1 Z. e; p
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。

- u5 t- V. b4 q. I! x(4)建模：参数调整使模型最优。
1 J5 G: [: e  i: R6 F
, u8 _3 W+ m' n(5)评估：评估、挑选最佳模型。
) G* p: ]3 L3 z# U. ^) x
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
; V+ A) F7 l) E% @" E. j0 S$ C: N
SAS数据挖掘方**：SEMMA
4 E+ _- R3 t6 B$ r& A: y0 R
(1)Sample-数据取样
8 j8 |: t; M! A4 X
' e: G5 b3 l6 T8 B- `0 J) @3 \(2)Explore-数据探索

(3)Modify-数据修正
) f& M" f* k! \: A! x+ d! S
* }( L$ G  I5 r2 F1 a6 i1 A# s. K(4)Model-建模

(5)Assess-评估
" x* u0 G4 W6 M
& I/ D5 C  Y  Y% K  o
3 x! j1 b2 ^1 {( g% x二、经验谈
- r: }$ y3 G  A' M( m  C
/ ]8 b8 c3 r4 A(1)明确要解决的问题
# P# B& a- b2 r% _$ S$ g. @8 N7 z
(2)确定最终评估标准

(3)设定期望方案

* \; J: a4 T; e: L& s(4)简单项目到复杂项目
* f$ q0 w, [; Y. B# Z
(5)团队合作，协调沟通
5 R8 L5 w, _- n
(6)避免陷入数据垃圾
6 _' V- _* j/ Y+ S9 ?3 E/ h5 N

) X, @1 d. R* H% O8 T# l1 k