数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
" @. R3 v+ }2 @* H: M
知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
4 A2 K% g* J* H* C$ W1 w6 g
最著名的数据挖掘标准流程：CRISP-DM
% r) N  I  k" O+ k' O. m  C
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
( ^$ I7 x# B  Q
' H2 Y; N  X& z; R(1) 业务理解：分析需求、初步收集数据和指标

(2)数据理解：理解各个数据字段的含义所记录的业务信息。
5 H/ o" k) r* H
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。

" ?" w5 ^, s3 x1 h(4)建模：参数调整使模型最优。
% [2 G: }% A5 q! f3 T' P" m
(5)评估：评估、挑选最佳模型。

* ^; M% g: M9 R- E# u  V' k(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

$ Q9 Y! M% W1 F) C* H" D# d# GSAS数据挖掘方**：SEMMA

(1)Sample-数据取样
- h9 x2 k+ P# V& y
(2)Explore-数据探索

(3)Modify-数据修正
* d5 @% |& _8 b/ k; A; d
(4)Model-建模

# \/ T0 _8 f6 y$ ^2 C* q(5)Assess-评估

9 f8 Q2 a; y. w3 \1 y( {- l+ e
二、经验谈

/ g0 T+ q3 p( d- M0 ](1)明确要解决的问题

+ w* W; M! |( l(2)确定最终评估标准
) }4 H& ^3 f( [% ?
(3)设定期望方案

(4)简单项目到复杂项目

. y0 f6 H0 j2 ]% |(5)团队合作，协调沟通
2 Z6 p( q  M, Z3 N5 b
(6)避免陷入数据垃圾
3 d7 w: ?$ p: C  i% I5 R
$ y" t1 w3 Y3 Q% @" H4 k