数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

$ U- S/ `' d! z7 l& o最著名的数据挖掘标准流程：CRISP-DM
- U" p1 {5 \: W, ^. _; p# g" Q
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
5 r4 H/ l! F( j+ C
/ {& x/ j9 `* Q/ J6 s& b(1) 业务理解：分析需求、初步收集数据和指标
2 E9 Y* K$ H2 e8 r" E
(2)数据理解：理解各个数据字段的含义所记录的业务信息。
. q' [1 j# W" D2 W% I& T7 K
/ G( J6 C9 I& d! A2 n(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。

0 H" N# N/ v$ f; J/ m4 _3 x) i(4)建模：参数调整使模型最优。

(5)评估：评估、挑选最佳模型。
% l& z5 q8 \; `" s
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

SAS数据挖掘方**：SEMMA
1 D! k* ]2 t$ h2 w
, [. ~; w- G7 q% C: T6 N- J2 L(1)Sample-数据取样
7 o) k4 |- Z& r# Z+ g/ B  ?* s
% N+ {/ y; V% S(2)Explore-数据探索
) ^% E# B" o' e( V2 e
8 m7 V( V$ D8 Q9 ]" V0 n(3)Modify-数据修正
. j8 V- k0 y' W, r! l
! X3 r/ ^) V. s1 A0 ?1 T(4)Model-建模

(5)Assess-评估
# z6 O# `$ w3 {3 @3 y7 Y
  Y; Y5 C" d: g" ?/ \
二、经验谈
% O; n9 ~6 |3 k2 Z
* `4 n# z- o3 d( l- e" I(1)明确要解决的问题

(2)确定最终评估标准
4 a1 ]* E* V$ m% J" m4 _; v: }7 w4 [
(3)设定期望方案

0 Z/ i0 H1 Z. i5 `" H* X(4)简单项目到复杂项目
. O- E( ~4 Y) x2 f2 b
(5)团队合作，协调沟通
. b  p' f  \$ i8 m2 G
(6)避免陷入数据垃圾

+ i' n! |6 r5 [0 h
2 S* |3 ]4 {& |8 e9 ^1 P2 q. V0 w