数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
2 Q7 Q* {. p: x5 _$ C2 ]. Y- M% E, ?; A
' V* T) h  D" ^知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
  [& q6 x) ^) s) R
最著名的数据挖掘标准流程：CRISP-DM

全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
: `% S! y9 D( e8 X
' ?6 ~% V2 Z' ~! S- t6 `(1) 业务理解：分析需求、初步收集数据和指标
% U# J+ t' Y; U* `8 Q
9 t; h2 x! A7 D8 o(2)数据理解：理解各个数据字段的含义所记录的业务信息。

& ~7 M9 [' B8 I(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
; k1 v$ G) D0 d) o* O6 w0 Q4 m
4 d- \3 J) Q" t6 w4 m, j6 D/ m(4)建模：参数调整使模型最优。
6 }! D5 }- {) |& z
: j# I0 Q# J) `5 i# _9 U(5)评估：评估、挑选最佳模型。

- E2 G' g# [* Z& ~" J' w$ O(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
. R. [+ r, E  {0 Z# X8 j+ e! Q
5 Z) C  ]4 i/ f! l/ ?: aSAS数据挖掘方**：SEMMA

(1)Sample-数据取样
% t. q& ~9 j( x5 _4 Z. }
(2)Explore-数据探索

(3)Modify-数据修正

; I* s9 u' a/ l1 O; g: _4 L0 w- ?1 T(4)Model-建模
6 q* c5 g" E2 _- Q8 ?
(5)Assess-评估
- s+ L1 Y/ m9 j" K% R( y3 I

二、经验谈

0 e( X6 s  A: H9 X(1)明确要解决的问题

1 D; O' L' A) F(2)确定最终评估标准

. {# l- V$ X) F6 h(3)设定期望方案
, Q* t( j8 x( b) l0 D0 a: `  F7 G' Q
(4)简单项目到复杂项目

4 R; N) a- I3 v  |; E! x(5)团队合作，协调沟通
( w: V$ L% t8 S( B" B4 w
1 w2 e* r, q8 W8 a(6)避免陷入数据垃圾
6 r$ F" K) h) y( M
& O% }5 g; T# p9 |9 O
. O; X! B' Z& t, W