数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

# Y8 d% j7 c! s/ c6 A知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

! H& c! z! B/ @6 F& R最著名的数据挖掘标准流程：CRISP-DM
* N1 L1 h+ v) l' q+ C- _
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
5 s" u" _1 h# z% ]+ z9 b
  c; `6 L$ i* m: i0 S- r! y(1) 业务理解：分析需求、初步收集数据和指标
; ~$ N. k. @# R0 S
, e8 G8 s1 I$ B* J) t  e(2)数据理解：理解各个数据字段的含义所记录的业务信息。
- B/ e  b1 X* f% B
2 ?' v- s! F! e: G% d(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
* f2 t* L5 M5 j
(4)建模：参数调整使模型最优。
# x+ \5 Q" U( h& ?$ A1 W6 i
1 Y- q' h& A5 {8 ?' J  v' y(5)评估：评估、挑选最佳模型。

(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

! l' S; ^) J' M0 V! d, `. I7 ^SAS数据挖掘方**：SEMMA

' z; L; ~* ?" V, s! k6 z(1)Sample-数据取样
: T6 x; h3 D/ [% s
(2)Explore-数据探索

(3)Modify-数据修正

6 [: |( F& w% Y; Q0 ?  h1 w  Z& u(4)Model-建模
9 c, y6 f$ M6 j! f$ [
(5)Assess-评估
9 k, b0 Z6 W6 X% b; p+ W' F

二、经验谈

(1)明确要解决的问题
. p+ V0 |3 k6 [
(2)确定最终评估标准
9 V3 P/ t; N, T5 [$ D9 b0 S; S$ ]
(3)设定期望方案

/ b6 r" d" p# m(4)简单项目到复杂项目
4 ^9 c* U3 S3 B: h; E
) l$ z( q3 j" @+ k# t3 p3 L(5)团队合作，协调沟通
0 e) Z; D8 z2 W+ Q. p
$ r( V, v' c  n; Y2 \+ Y* K(6)避免陷入数据垃圾
% |/ n8 Y8 ^, }  ~$ W
" e- B( M4 W+ V/ x