数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

; `7 O$ \) {; ^5 [" H. ~9 U知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
/ D# X/ {# q0 ^  G# z
" Z* N. t7 M: \# Z, H最著名的数据挖掘标准流程：CRISP-DM
4 c# @, e! w, S
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

(1) 业务理解：分析需求、初步收集数据和指标

9 j  t+ a4 |/ N$ d( H2 Z% X0 H(2)数据理解：理解各个数据字段的含义所记录的业务信息。
- n3 v/ D/ P# \
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。

(4)建模：参数调整使模型最优。

* Q% a; n$ D+ A7 c% `& |( ^(5)评估：评估、挑选最佳模型。

! C6 H+ h2 A; _8 r) Y5 N- }( f(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
% b3 x- e; L7 c+ Q9 x# I5 O
SAS数据挖掘方**：SEMMA

# a# f9 Y1 f% J(1)Sample-数据取样

(2)Explore-数据探索
, v4 n8 Q0 A: `' ?$ v
(3)Modify-数据修正

6 O% k6 U9 c6 e8 p(4)Model-建模
0 v4 n7 d, q% l6 \( O) \: F1 \
(5)Assess-评估
# U/ _6 a1 O( u+ ]5 r( o5 T! }

% ~/ {9 y7 R) l) K& c- Y二、经验谈
( [: f3 s# a; U! d' b# V/ l  C6 R5 e
(1)明确要解决的问题

(2)确定最终评估标准
2 X# u* D4 F: p" H& n3 a
) p; T+ x' I" w- @+ j' U5 ~(3)设定期望方案

+ ~  W" _: K" z- P: k3 i( `, p$ H(4)简单项目到复杂项目
0 V# b0 f$ N. }* W/ p! z
3 K" Q: m* q$ B* `7 D" N# x(5)团队合作，协调沟通

(6)避免陷入数据垃圾
& E- ?$ K" W8 a6 N# v

8 m8 p7 h! k& L$ W