数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。

知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
# `0 J$ ?' a2 R0 f+ A; K3 F
最著名的数据挖掘标准流程：CRISP-DM

0 x$ ^8 R" P" i4 T- M9 p全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
- Z9 R% q1 q3 R2 l9 z# {% a8 S+ R" d
(1) 业务理解：分析需求、初步收集数据和指标

& d5 F7 l7 b% O, Y  ~, ^; f+ M(2)数据理解：理解各个数据字段的含义所记录的业务信息。
, A5 S% t+ I, `
: O# w  O0 H# l; {* ](3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。

(4)建模：参数调整使模型最优。
. _- Y' k( e. e% W* x
(5)评估：评估、挑选最佳模型。

3 i8 A0 p3 m6 G. J* N. Q) J  j(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

SAS数据挖掘方**：SEMMA

% w1 ?/ X# H* s# C4 U9 Y(1)Sample-数据取样
' M1 t8 Q  u( r2 }/ x5 J8 B: S0 ?
# W  P9 M$ C9 Z; _4 L# p(2)Explore-数据探索

(3)Modify-数据修正
) C  X/ @& T8 {/ A& \  p! ^  B
(4)Model-建模
6 ?8 ]2 b0 |' y, s" x7 W7 c1 F: t% m% D
(5)Assess-评估


  n: z" U% ?# b+ y0 Z  ?二、经验谈

(1)明确要解决的问题

(2)确定最终评估标准

; g1 ~' X' U* F2 W+ F(3)设定期望方案
1 }5 T% B9 i5 C( M/ D) M- h, B
(4)简单项目到复杂项目
/ {: G- f! L5 x6 g5 p' e
(5)团队合作，协调沟通
( b* }# R  W! O6 ]# B* \
(6)避免陷入数据垃圾
6 H6 s$ F$ q! y
! N1 T4 p0 \5 }
" d, w: I! B9 v* @6 Z