数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
: s+ H( h. f. o" W9 r
最著名的数据挖掘标准流程：CRISP-DM
2 `$ p# E0 a; a& U
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

9 T6 _- u) g; E7 ~: k2 D% l' q(1) 业务理解：分析需求、初步收集数据和指标
4 C( q+ I, ~* u2 P% D8 p' G
(2)数据理解：理解各个数据字段的含义所记录的业务信息。
. N3 [) }* i# F! F/ ~& h
: j7 s; U: f  i: h" i- e) ?3 w: _(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
: J% [- Z* p" L- n8 W9 Z
1 Q# v$ [6 D6 j(4)建模：参数调整使模型最优。

' n3 n. F5 S4 l+ R6 V% s+ ^8 u(5)评估：评估、挑选最佳模型。
4 B. ~# w$ W7 |- U  F
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
6 c% U% [7 X- P8 S- _) u
* E: m) f3 d$ `SAS数据挖掘方**：SEMMA
3 K7 R" x1 A' @4 F' O# B
2 @! B- x2 ]" _& P4 J' v1 a(1)Sample-数据取样
, m2 |) m- C: W5 d. t3 ?
) A' K- a+ q4 o+ z4 _& H& ^8 @. |(2)Explore-数据探索

(3)Modify-数据修正

: z& A- T* v; |  V/ ^, X% n& u(4)Model-建模
: R/ t) K8 v9 n7 @8 y  x
! `7 [! X! \: T+ y8 q(5)Assess-评估
, D6 W6 z; b1 N/ N& |
4 C. ?$ {" _* i( z5 X/ f
二、经验谈
; ?; ?1 M9 K8 V3 s
  m3 P, |5 {3 ~; `# H(1)明确要解决的问题
( v- j8 H8 q- \8 t2 P1 ~6 E, E
(2)确定最终评估标准

4 E5 O8 Y+ W; y4 V: e7 l(3)设定期望方案

' }5 L8 o- U0 {. r$ e# ?, g1 p(4)简单项目到复杂项目
0 B+ Z3 S; t$ x) ~7 x% {. v
1 u- _' x4 k# C* d4 N6 J" [% M, u(5)团队合作，协调沟通
% A: y7 |8 s6 c4 E/ Z
(6)避免陷入数据垃圾


2 }2 q% S7 e+ X  S" b4 j$ v