数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

4 F. @* w) B% t知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

最著名的数据挖掘标准流程：CRISP-DM
: W+ s3 Z5 X  a4 s! L
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
: \: B+ U0 N0 _8 i, |
(1) 业务理解：分析需求、初步收集数据和指标
3 m$ p# P. W( N7 W  I: p  {9 U
. N+ O: }; f6 V* L) k8 ?! }7 q(2)数据理解：理解各个数据字段的含义所记录的业务信息。

8 f% ?1 R8 Z* |% f4 I(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
' q: t+ b5 I4 ^+ ]% @& ?2 H4 ~
4 K8 \7 z2 _: \. K(4)建模：参数调整使模型最优。

(5)评估：评估、挑选最佳模型。

(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
7 K+ r( x4 _% H0 O% p+ S
) l% _4 B8 ?3 A6 G  L8 H8 oSAS数据挖掘方**：SEMMA
$ \4 C  R# Y& n( _
$ i- Y) w8 H: A! j(1)Sample-数据取样

(2)Explore-数据探索
' M' G* n, e/ f7 ~8 ~
(3)Modify-数据修正

(4)Model-建模
: d, b. H7 x, G- Z# U
1 q$ g; v; A0 H(5)Assess-评估
& d- Y8 e% n- U

二、经验谈
7 r: R! i) f" s& l  Q; e4 q$ b( T
# }" W" ]% I; A) t(1)明确要解决的问题

* ]! g% A% J- S# j4 ^- a$ n0 g(2)确定最终评估标准
! {4 i: h) h9 w* t2 T
: I* R, ~8 x" q4 @1 l3 |/ q(3)设定期望方案

% e. g! \# z6 B7 \(4)简单项目到复杂项目
, O( g; Y7 f' h1 u! P8 m
(5)团队合作，协调沟通

( S, @" k+ @" W7 Q8 A0 A/ \(6)避免陷入数据垃圾
5 e+ X, r! f6 p# n
2 p7 R7 ]* t4 S- T! k$ _