数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

2 p- m5 @' _( E知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
4 _( Y" B% D8 {, }* {
+ p1 O4 \" F. O1 B' F4 y* m最著名的数据挖掘标准流程：CRISP-DM
9 k7 m5 h+ Y4 b1 L: U& Z' v
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

) a- Y1 E. s4 W% `$ T' g(1) 业务理解：分析需求、初步收集数据和指标
, S1 a$ j# T7 R6 e  y" s& I, t! a
9 U5 V& t* v, V: c. m* h3 n(2)数据理解：理解各个数据字段的含义所记录的业务信息。
( D+ {4 N7 C+ n( Z
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
1 ~- F1 k7 l$ W- Q, A% D
(4)建模：参数调整使模型最优。

3 Z# ~+ x7 H$ h. ^! F& f(5)评估：评估、挑选最佳模型。
9 Y" }$ h6 s; A% [; K) a
% \1 V5 B# a$ X(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

) _% g: a1 s, r2 C+ K  sSAS数据挖掘方**：SEMMA
: q/ e6 ]/ ]- W
# I# m( e  n6 d* L5 ~# a(1)Sample-数据取样

(2)Explore-数据探索

. V8 {9 G8 A: X0 ^+ x. y7 u(3)Modify-数据修正

(4)Model-建模

(5)Assess-评估

( a) ?  W6 N$ _6 P# B2 D9 t
二、经验谈

(1)明确要解决的问题

(2)确定最终评估标准
7 J, J4 r' l6 u" I/ q0 z! d
(3)设定期望方案

(4)简单项目到复杂项目
: I+ h; m) t1 l' C  ?
8 U2 E; k; m' s% [0 l  c(5)团队合作，协调沟通

, _: F, H2 l) a! D8 m# u(6)避免陷入数据垃圾

' n4 Z+ v# ?/ V+ V) {