数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
: m  H8 F8 W& ]" E
3 Q$ k. @$ K$ `0 c" d4 G+ p4 d知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
2 w% |- l/ Y( l9 l9 R# K, }
最著名的数据挖掘标准流程：CRISP-DM
% w4 m" `. n- `1 V' o" g
% A. N4 K8 u, r7 ^全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

* ]& _; F" d0 S) m+ j5 T  t(1) 业务理解：分析需求、初步收集数据和指标

4 J3 a. ?( i3 `4 l(2)数据理解：理解各个数据字段的含义所记录的业务信息。
( C# E9 W5 f- p* ^
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
1 Z" A5 u6 ~9 Y. s- V
(4)建模：参数调整使模型最优。

(5)评估：评估、挑选最佳模型。
4 g+ \" S4 Z& g& X- V
. L. X) S0 u( K+ _& I! g(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

: |  C% N8 n+ C# lSAS数据挖掘方**：SEMMA
3 n' k! U. q2 ~" S& Q! @
(1)Sample-数据取样
: M6 b  F7 Q7 a
, J0 w1 \$ S& ~! z) }; z; m- S(2)Explore-数据探索
+ X& i/ u/ G+ W( X5 S) Z
(3)Modify-数据修正

* ?8 P: D1 @4 o(4)Model-建模

# ?3 I/ R! t# ^3 u(5)Assess-评估

; i  |4 H) @- T; D- x
二、经验谈

(1)明确要解决的问题

(2)确定最终评估标准
, D5 S9 Q1 ^# G" o5 L9 K' Q
0 g1 C" q8 Y, S' d(3)设定期望方案
0 i1 o2 Z& Y8 T4 e( d& h- J
* s6 z' ?3 q( B! Q( \& y+ Q6 A(4)简单项目到复杂项目
3 R0 ~, Z' Y8 f/ s& s; y3 U
+ N9 f) ]$ J$ G( w0 o( q2 g7 H0 a& W(5)团队合作，协调沟通
4 Z# F6 [9 z( ?( j* i
; m. C0 |, l5 v6 t. h7 G2 E, p(6)避免陷入数据垃圾
& F4 t7 I3 B  C9 E) N0 L4 e
; H" e( R5 u1 C
2 a2 e- K8 V9 \8 O" g