数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
, n7 z$ W+ n" ]" y
9 a" T# P& @; ], m/ j. f  _8 F0 X" d知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

7 D2 \  ?$ L, @) E1 r$ z9 x; t7 D% d最著名的数据挖掘标准流程：CRISP-DM
+ F  s# z5 p6 Q/ f6 ]( W
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
0 |& l. e; n- B+ s8 a4 E
(1) 业务理解：分析需求、初步收集数据和指标

4 r- \! h, w/ h7 N; Y(2)数据理解：理解各个数据字段的含义所记录的业务信息。

(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
2 O5 O; K9 `3 g
+ j  \, X: k' ?% ](4)建模：参数调整使模型最优。

(5)评估：评估、挑选最佳模型。
& h# V9 x, a* k7 b( L
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

* W* }4 c$ _& `( C0 w( _SAS数据挖掘方**：SEMMA

(1)Sample-数据取样
; g1 E/ [5 p' ^8 ~  A; C0 Z1 _, ?
(2)Explore-数据探索
2 H+ ^: X! B7 a) Y' l) |1 Z
- D) O9 Y; k7 F(3)Modify-数据修正

! T' d8 r! D( ?0 f1 `$ ^1 g6 ](4)Model-建模
9 l" L5 b+ y9 ^  E4 L
(5)Assess-评估

1 s/ j& |8 S2 v& O/ e
. m+ k* V/ U" Y! J$ @" Q; b% D二、经验谈
4 J* @7 X; T' Q: t4 d9 K$ b7 a
" p0 i9 w, o, D( Z) V9 i" {2 s(1)明确要解决的问题

(2)确定最终评估标准

4 i$ ~, {4 y5 Y1 m4 a5 X(3)设定期望方案

(4)简单项目到复杂项目

(5)团队合作，协调沟通
# f# Y, f' L+ D3 a3 U
4 ~( x, g$ w- _9 p1 \0 B(6)避免陷入数据垃圾

! W$ f* h0 l9 Y+ G" l% _' Y- D
6 V1 e. y' Z8 @1 ?