数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
# J. R3 j) E8 }: c- n. a# b
知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

; T+ z  K1 Y) p" x最著名的数据挖掘标准流程：CRISP-DM

4 P. c  z0 H* u0 J& K) \全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

(1) 业务理解：分析需求、初步收集数据和指标
" ~3 \  |0 G6 |0 K5 Y- S' B, l
(2)数据理解：理解各个数据字段的含义所记录的业务信息。

(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。

. \* x7 G* r$ o7 ?0 Z) d& o& d(4)建模：参数调整使模型最优。

# W1 \$ C) N" \# F3 E' S(5)评估：评估、挑选最佳模型。
! p0 C! |9 M1 ?2 O1 T2 E1 q
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
! C/ U8 b8 V' G5 K. w8 J
SAS数据挖掘方**：SEMMA

(1)Sample-数据取样

(2)Explore-数据探索
( ?) t* U+ @$ Z( O
(3)Modify-数据修正

(4)Model-建模

(5)Assess-评估

# \# N' z: n8 Y) O
6 ?4 m& E; g# z1 a( r; f二、经验谈
& w5 ], q. E# Y" B9 t& X
+ h' @; h, z# R$ `: v(1)明确要解决的问题
( H6 C, U: K3 l* r- }3 l+ I
(2)确定最终评估标准

(3)设定期望方案

(4)简单项目到复杂项目
% p, A, e- o6 `1 a
(5)团队合作，协调沟通

+ Y( z5 d( U: |6 Q/ o( J, J, T4 L( L(6)避免陷入数据垃圾
3 q: b! }; t1 k% h

  G/ Q5 m$ K0 O3 |. v5 g