数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
5 T* V, D! V2 A2 e3 ^$ o5 q, l3 g
知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

最著名的数据挖掘标准流程：CRISP-DM
# A/ n2 r* J2 K; ^& d/ U
# n* C) j% x! i' f# I全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

' \* D, H) j/ S1 Z(1) 业务理解：分析需求、初步收集数据和指标
2 ]5 \/ L# x' r1 E% v  z$ k
(2)数据理解：理解各个数据字段的含义所记录的业务信息。

(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
/ O! L. p/ u* l* h
% O$ z1 O, c: `  A(4)建模：参数调整使模型最优。

(5)评估：评估、挑选最佳模型。
+ H1 U4 L9 R* \0 o) D+ e( R
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
+ ^' s8 w, v- `: k/ s, _
7 c2 Z# \) L+ v, [SAS数据挖掘方**：SEMMA
" `/ j# T9 X+ K# w
5 v  A  k4 P$ `# ~& R/ }% ](1)Sample-数据取样

) f% q1 F9 q* U9 y& _5 Z0 ^(2)Explore-数据探索

(3)Modify-数据修正

(4)Model-建模
. z  _( C- Z! o& h  h, t# f; j/ `
(5)Assess-评估


二、经验谈

(1)明确要解决的问题

9 K. V* n% W4 B, P' z6 e5 E(2)确定最终评估标准

3 {# T. e: H9 ^: d+ I) T  z(3)设定期望方案
, S8 n3 p; b7 n, `9 s% Z: A
, E; T5 P/ b8 S9 @(4)简单项目到复杂项目
6 x' F5 Q9 I* o9 |5 R' l
(5)团队合作，协调沟通

9 W4 E* ^' F  a" D. L5 I+ c(6)避免陷入数据垃圾
. |) ]1 x1 S  b8 Y1 {
7 K5 a  R# e3 {7 n! X5 \