数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
# d0 c1 S' ^! G3 P
7 s* O6 R7 _0 g1 ^. {4 [; `0 f- ?! N知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

: k  @% ^  M, ], l+ w$ C最著名的数据挖掘标准流程：CRISP-DM

全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
- J- Y6 b! o8 L6 ?2 `* c& y
(1) 业务理解：分析需求、初步收集数据和指标

(2)数据理解：理解各个数据字段的含义所记录的业务信息。

2 V. R5 F, e; t0 W8 n8 G9 B+ i(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。

(4)建模：参数调整使模型最优。

4 E  A  @- k$ p, m( k(5)评估：评估、挑选最佳模型。

(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

SAS数据挖掘方**：SEMMA
) s% [* u8 u4 f. N3 O! C3 a$ z$ s- g
(1)Sample-数据取样

(2)Explore-数据探索
2 K9 x+ L/ h& [8 _7 x
4 i9 y) {8 _, Z5 u* W  |(3)Modify-数据修正
: X8 {: Z: W2 t: T1 E/ k+ S0 z1 ^( o3 D
(4)Model-建模
0 `( P; h- H, r1 I/ J8 l
(5)Assess-评估
( a0 y* B$ m6 e  Z

二、经验谈
! ~: G% ~# g" n2 C# n
6 \) q) n9 W4 L0 o  T. W( `( K4 W(1)明确要解决的问题
- K/ Z& q6 R5 Y
8 R5 Y# ~3 A  [9 K: W2 a(2)确定最终评估标准
0 L7 V! U9 l+ Y$ u$ `5 u3 s
(3)设定期望方案
) @2 B! Q( R' c- O9 n
/ t. F! X* a0 p: p6 D# T) _(4)简单项目到复杂项目
# m* |* j& W& }
(5)团队合作，协调沟通

7 J6 q2 }% M; H4 O(6)避免陷入数据垃圾