数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
+ ?' W6 o1 B  H' J0 j. r
知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

: q0 X9 N3 i4 F0 D% u" R最著名的数据挖掘标准流程：CRISP-DM
/ m, Y9 ]" r% a+ r, A0 t
. L1 W/ n& o2 G- I9 _) J+ O+ n( m全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

(1) 业务理解：分析需求、初步收集数据和指标

(2)数据理解：理解各个数据字段的含义所记录的业务信息。

(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
# ]7 {" y' Q$ s$ Y- C3 t) A/ D2 d
5 H6 u6 L& X6 x; n; {* H5 ~4 N(4)建模：参数调整使模型最优。
9 t, \- n) `2 ?# C0 _
(5)评估：评估、挑选最佳模型。

(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
$ K6 P& f9 w; m; i- F) E! m
0 n+ \1 J6 A* {: l5 m9 [SAS数据挖掘方**：SEMMA
* l9 \8 Q0 T& Y5 P
(1)Sample-数据取样

(2)Explore-数据探索
# W$ s* k" b, ?. ?% ]
(3)Modify-数据修正

(4)Model-建模

7 V" @" S$ c6 ^  f& @2 u; P(5)Assess-评估
- I6 z5 v5 O+ v1 |: A% f9 \, w3 N

: ^, g6 Z; P, p, T8 ~% t二、经验谈
; X. p7 u$ D9 ^, Y: M5 W! H  q
0 s* k9 a) A" u, q4 v/ q(1)明确要解决的问题
8 R4 P$ S6 X+ A5 P6 S# F* v+ {% W  }$ j
(2)确定最终评估标准
9 s' w& z) x: _$ Y
(3)设定期望方案
! b- W6 D  N% c. w7 K/ q
* u& Z% V$ y$ K1 O7 e: Z" }5 M(4)简单项目到复杂项目

. `& I# t, v, H# |/ x(5)团队合作，协调沟通

/ L/ Y4 u' M, k" q, L9 y(6)避免陷入数据垃圾


) A4 ]3 W; {& _* ~" m