数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

2 _2 {9 n/ ]' P, |4 ?, F知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

( u8 r( y+ ~# R/ ~) a7 A最著名的数据挖掘标准流程：CRISP-DM

+ M- W* V, b8 A, |# D. m- i# W全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

! C$ Q; w: J. b6 W3 {(1) 业务理解：分析需求、初步收集数据和指标

(2)数据理解：理解各个数据字段的含义所记录的业务信息。

(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。

(4)建模：参数调整使模型最优。
0 E, y$ _0 Q7 g( Q  D! m" g
( |5 ]6 o  H  R# e' }(5)评估：评估、挑选最佳模型。
+ G! ^) c! ?& @$ I  w4 p& r
1 k7 k6 V/ W6 G0 `- ](6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

SAS数据挖掘方**：SEMMA
2 D: w* |, g/ U, h( |- w
' K( v# t! z0 p- J(1)Sample-数据取样

(2)Explore-数据探索

(3)Modify-数据修正

; S) X# x# H7 [$ I/ v$ y4 |4 D3 S(4)Model-建模
9 S; c5 ^$ n( h1 ^  K& L- G
2 u: |: v# @7 K(5)Assess-评估

! f0 V6 K4 x# l; E
" D* v$ P: A- G- @+ N二、经验谈
1 c9 E) i( V+ j7 D' q. X* W% J, f2 t0 X
+ M+ Y: B5 Z" N; [( A(1)明确要解决的问题

" r8 _, H! @! F( o- _& J! c0 S(2)确定最终评估标准

(3)设定期望方案
$ z# U( H( w6 ?- o
(4)简单项目到复杂项目

(5)团队合作，协调沟通

' h* W7 Q% q& Y" V. f, i(6)避免陷入数据垃圾


; F3 X( U5 b, Z7 l9 J( g