数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
& C( s* s7 o5 Z
8 p7 M' v3 h( i知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

& f# j5 w! K0 p7 t. M6 X6 V# n' z最著名的数据挖掘标准流程：CRISP-DM
3 A- J9 h% z- R+ t) I0 i8 p
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

) x# k* m, B+ S# A, {2 C(1) 业务理解：分析需求、初步收集数据和指标

(2)数据理解：理解各个数据字段的含义所记录的业务信息。

(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
6 I4 A2 P) {4 ?+ r" F1 D: a8 `
(4)建模：参数调整使模型最优。

(5)评估：评估、挑选最佳模型。
3 C# v: i& g# Z1 v( T
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

& G% H$ f: a5 ~4 g3 x1 L# C; |SAS数据挖掘方**：SEMMA
: v" @% E/ S( g
6 J& g6 u5 O9 D8 M- K( `3 C(1)Sample-数据取样

: [- K& I: U& N* w5 q1 C; c(2)Explore-数据探索
6 V2 ^4 S% e/ M4 h, [) f
, X4 Q* Y3 T$ w4 U' P* H$ p(3)Modify-数据修正
: M  G& C/ u$ I* V6 j8 J
(4)Model-建模
# y( O8 Y9 U2 x- U5 ?' K$ b& j$ E
! V' f; N' ^  E3 n(5)Assess-评估

3 ^: T% C0 B1 l3 ]5 i# C
二、经验谈

% C( l- q) a& r! Q0 s# `(1)明确要解决的问题
$ }; S6 u( ]3 D5 c* W( E
(2)确定最终评估标准

(3)设定期望方案
0 R9 t1 D) h- s6 A( V
(4)简单项目到复杂项目
, T5 `( E$ J. l$ o# j0 U" x
- p& h. K9 r/ n  f/ m" C(5)团队合作，协调沟通

; r0 \$ C8 R) @2 K+ N(6)避免陷入数据垃圾

& \8 Q1 N$ f! p7 m3 X+ Q) g
6 P1 r5 w2 _( O9 f