数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
2 v4 m! [3 |9 o% X. v' r  h. l
知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
3 X7 H; m5 n3 F9 D6 L: g, J5 S
3 [" _  R3 r: Z6 E$ p最著名的数据挖掘标准流程：CRISP-DM
. M8 H% \9 E5 a+ y! X
3 ^" t4 F+ h5 b" O全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
. `4 [* t, ?8 r! b0 p
& q0 E8 J. @+ q( d% D(1) 业务理解：分析需求、初步收集数据和指标
' e) _: u* x/ {3 I5 y
(2)数据理解：理解各个数据字段的含义所记录的业务信息。

(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
, i9 Z4 D; \+ S; E* s! ?
(4)建模：参数调整使模型最优。
4 j% D8 I4 R9 Q$ e" i% t' f8 t, N
(5)评估：评估、挑选最佳模型。
# E( T+ F8 H* h: l6 J6 i1 H/ L
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
5 O; V5 f: ~4 L3 c" [
  w3 D( i  j* @$ pSAS数据挖掘方**：SEMMA
- C+ f1 @( w0 ~1 M; h
(1)Sample-数据取样
6 x' v- i  r$ E: k* ^3 B
  @  H! \3 @6 Z2 e8 u2 h8 O(2)Explore-数据探索

(3)Modify-数据修正

6 _4 b* s" ^- `: M) U/ j4 ]. ~! |(4)Model-建模

) w3 |- D- Z1 M+ ]9 D2 h& u(5)Assess-评估
% z( l' L: r( W2 N4 @2 R1 S
0 D3 ~% c% ~' ~9 c- t8 O4 w
二、经验谈
- |, I& d  }+ L, g0 b; I+ p2 H
2 d9 s) d3 p" w- a) r(1)明确要解决的问题
" a' X# c9 ]8 l! P
(2)确定最终评估标准

(3)设定期望方案
* N- G8 C( [: e9 e( ]: }" a$ Y
9 j; S6 Y4 ~* {* g6 ^0 R(4)简单项目到复杂项目
6 U8 w* h5 z) P6 u2 K# t4 S
(5)团队合作，协调沟通

(6)避免陷入数据垃圾

- C/ E) k, k. P( q# H2 ~