数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

2 c3 K# H5 P  l+ T5 h" u( j知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
& N: |( N( b; I4 Y
4 R$ T6 w, p; [: \8 T% V' p. t最著名的数据挖掘标准流程：CRISP-DM

全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

(1) 业务理解：分析需求、初步收集数据和指标
  j5 z' K/ L% R( a7 @: t! v
(2)数据理解：理解各个数据字段的含义所记录的业务信息。
" [) f1 O2 Q' U" W( a
3 k- ^: B/ a+ U& Z, B(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
. \* [6 Z. u" F6 e: \0 `% m6 ~
, B' I# F4 q3 F6 u6 P(4)建模：参数调整使模型最优。
  b' D$ I2 `: ]" V( h, ]. ]$ S0 q
0 P% J- W+ C/ T  G5 O(5)评估：评估、挑选最佳模型。
$ T% H6 Y0 C4 L( B1 V: D" [
; ?0 j4 g* a: J4 l* t. i5 W# n" ](6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
7 X. B' y* \; }& P# ~+ t
SAS数据挖掘方**：SEMMA

(1)Sample-数据取样
5 |; U! U) s3 A6 p4 }% s' [
! v# E+ m& N+ I4 p(2)Explore-数据探索

(3)Modify-数据修正
4 ]# H7 G+ k/ M2 j! N* U8 H
/ s# E  D* u/ K% Z: \(4)Model-建模
  z- M2 s. O8 e( A& k/ e
(5)Assess-评估

7 U% R: M9 `0 j
# t* @; h5 D1 I6 }$ K5 i9 O+ O2 D6 T二、经验谈
1 K+ \3 [5 e# ^: H. X
(1)明确要解决的问题
* p# n" c! v+ i  s$ G" Y3 h
8 K- ]1 o0 @: C. q2 K(2)确定最终评估标准
  w; O& t! e: X) I8 P
(3)设定期望方案
9 V1 E5 Z6 B& _4 U! g; c4 S! U
4 ]( n: x! O9 s' b3 l(4)简单项目到复杂项目

(5)团队合作，协调沟通

(6)避免陷入数据垃圾
7 S# `- e" k) {( o3 ~/ q
5 |, @* ^- y' S4 T$ U9 r' v5 o