数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
8 x4 I. ^: b6 z/ D: V: z
知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

4 S2 {- M& d1 V1 Z' O  H3 Y3 n最著名的数据挖掘标准流程：CRISP-DM

全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

, T* ^' a; j: O- \  \(1) 业务理解：分析需求、初步收集数据和指标

(2)数据理解：理解各个数据字段的含义所记录的业务信息。
& V  f) \0 I* `+ \3 l" o+ i
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
1 z* O, O1 D5 k
(4)建模：参数调整使模型最优。
, _( Q& q) _- {( ?, L* ^7 n
9 z2 x/ S, f% s6 i& |0 C$ k# k(5)评估：评估、挑选最佳模型。
1 y, K: K2 m; ]9 y9 {
% {  x, w+ Z4 D# ]8 L(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

SAS数据挖掘方**：SEMMA
' G4 q% b- g2 M/ {4 k
; L! Y7 U, i$ h9 F8 E& A' ?4 G(1)Sample-数据取样
+ s. M3 g, ~0 G2 [
' l9 U. v' A7 l6 [(2)Explore-数据探索
% L, m; j! f  u/ I
' j5 ?, K. n6 v+ m* V(3)Modify-数据修正
, Q- c! k- F6 N( Y: h8 T8 g
(4)Model-建模
+ x* ]" w6 S1 @6 ~6 o7 ?& g
9 Q. i) p( p5 S- B0 _  y' ]8 k(5)Assess-评估
9 T+ L. r6 I- ^  W0 w7 j, ~

二、经验谈

+ k: s: i9 V  |) H(1)明确要解决的问题

+ W  @# p5 A1 U(2)确定最终评估标准

(3)设定期望方案

7 z/ m, O; u7 ^6 y+ R; d(4)简单项目到复杂项目

6 @: U3 D8 V- r  A# S(5)团队合作，协调沟通
+ z5 |0 Q  ~- ?3 I/ I7 W! }
% t9 J2 w6 U3 v! \(6)避免陷入数据垃圾


! F4 \5 z0 `; O& F- d