数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
% }7 ?- ?. _4 _" P7 g
最著名的数据挖掘标准流程：CRISP-DM

全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
9 ]4 h) ]" n% Z; M/ f. [$ m3 o( j
, ^: k3 T0 }: H- P. ~: N(1) 业务理解：分析需求、初步收集数据和指标
0 Y' v- k' Q+ }# F8 n5 m; A1 w: c  Z
/ ^( j# s) v9 m/ y8 t(2)数据理解：理解各个数据字段的含义所记录的业务信息。
1 |  `6 {3 j# c& e6 y3 p" a
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。

* n: S% m9 s2 l/ z. E(4)建模：参数调整使模型最优。

(5)评估：评估、挑选最佳模型。
6 v) K8 ^% H* V
- s# M& h8 H" `1 b! z% B4 l(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

SAS数据挖掘方**：SEMMA
; B1 p6 j) `- ^# p# I
(1)Sample-数据取样

(2)Explore-数据探索

(3)Modify-数据修正
4 m) C" W+ t0 I% m; D: @
  h& v1 r3 W" u* K(4)Model-建模
- @: i8 c1 ~% Q% s) l# L* u& \
" @) d' ]. T, A; H% Z" D8 P(5)Assess-评估
- c: U& t3 T% v
; K$ J: Y  _7 B7 d( i7 s
二、经验谈
+ E% g8 I; K" `8 T, {5 d4 N
: {/ j0 o( R4 D; z& R. o' J( F(1)明确要解决的问题
2 [8 h2 |& f1 U, b0 q
(2)确定最终评估标准

# M1 t3 S$ `) D+ e(3)设定期望方案
* X! n1 U9 H3 T
8 b/ x3 U% W) M) ?1 S, ~* |- n, P(4)简单项目到复杂项目

: C7 M' }, Q/ H' V6 y$ L(5)团队合作，协调沟通

" V/ V: ^5 C3 ~2 C. q, b' G3 m(6)避免陷入数据垃圾