数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
3 a3 R5 D  R& Y+ ?5 ~1 {, T8 z
: i& |3 U; C9 E8 {! A, f! q/ h. [知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
* {" T' N$ A* a, |
0 U* g( z: `2 o, o: _最著名的数据挖掘标准流程：CRISP-DM
- v: ?( i5 o1 I7 E& f  a. _+ ^
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

(1) 业务理解：分析需求、初步收集数据和指标

(2)数据理解：理解各个数据字段的含义所记录的业务信息。

8 y. Z5 ^7 k3 h3 \0 `) c(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
. K) }7 j  Q8 f6 m. G
3 X: A( U5 ?, n(4)建模：参数调整使模型最优。

3 C' q3 z. I( |(5)评估：评估、挑选最佳模型。

" O% r/ q9 ]- i( ], d5 f1 s2 t4 B(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

( l* _) X4 [& u& W* ~& bSAS数据挖掘方**：SEMMA

, x% z# c4 _4 l7 }/ h, I; U(1)Sample-数据取样

! H1 i' W- g$ a8 [/ e5 g% c(2)Explore-数据探索
, k3 a: ^7 ~  Q0 u% x
( d. r) a+ t9 l* U' q+ a. z(3)Modify-数据修正

(4)Model-建模
9 y. g! G( E3 z2 n
(5)Assess-评估
( o' F, b/ Z4 {# u$ }
8 F6 q7 z  r: T/ _4 R
/ d/ M. l2 m! E$ N( d二、经验谈
* F5 }4 w* p* H/ a  p+ q% p
(1)明确要解决的问题

(2)确定最终评估标准

(3)设定期望方案
+ E. U& x+ w7 Q% p; r; g
( S& S* x% D  i. ]' w& W(4)简单项目到复杂项目
4 @$ K9 K/ \: p
(5)团队合作，协调沟通

(6)避免陷入数据垃圾
) @: Q% V$ J8 w# `5 x, x' {
% D, R- ~4 s0 A5 X; A  K
7 `2 C: }+ s* }8 i! E