数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
+ y% q% u* \( X& F
最著名的数据挖掘标准流程：CRISP-DM
5 Y2 B3 a2 @, R4 {
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
7 d% o/ n8 V% H; I" d8 e
(1) 业务理解：分析需求、初步收集数据和指标

1 P/ p0 s, _, x- P9 l2 t(2)数据理解：理解各个数据字段的含义所记录的业务信息。

* C; v2 Y) N" A$ |(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
4 F3 b/ _5 E- k" [
  A+ Q- R& A7 o" Q% ?- O9 s(4)建模：参数调整使模型最优。
* c9 i( m: Z1 v! K9 D' \) ]. N
' Y  H5 r' r5 Z! X+ W' ^; l(5)评估：评估、挑选最佳模型。
; L1 z' B6 g5 a: M: z
) U: `: c) m+ L& L% Q+ d' l(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
; ]  T3 ?6 i4 K( K/ C6 R% V
3 ~; I1 \0 _8 P! q9 x6 i% ?9 nSAS数据挖掘方**：SEMMA
2 I" t- o; t6 Q( P
7 Q# p5 A9 \* r; g% Q) y(1)Sample-数据取样

1 n" v! A1 g3 \; G) ~# [- K2 [(2)Explore-数据探索
3 y8 r# ~) }+ l; G8 `  s1 _5 I
(3)Modify-数据修正

(4)Model-建模
6 ?0 y2 ^: M) {
) P3 v: \3 s9 R(5)Assess-评估

0 u1 o+ R* e1 V; G% [+ ~& l# _
二、经验谈
1 ]( s9 I: ~- e# b% Z- J0 D. N
(1)明确要解决的问题
- Y( L8 J( }1 C# @! s. }
3 V2 Z; G/ l% A5 P9 B(2)确定最终评估标准
5 u2 i- @: [2 T/ y
(3)设定期望方案

(4)简单项目到复杂项目

(5)团队合作，协调沟通
8 j6 w, i5 @- g( n9 [
(6)避免陷入数据垃圾


# w& @  [! s- R- j* p