数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
; L0 ?8 ^4 e4 R! \7 m" s8 a  Y& D7 }
知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

最著名的数据挖掘标准流程：CRISP-DM

! |% N7 y0 Y7 ?; m  b3 O- m全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

(1) 业务理解：分析需求、初步收集数据和指标
& I8 G7 Y( j" y$ c7 A4 z1 O
(2)数据理解：理解各个数据字段的含义所记录的业务信息。
' V  H" e0 Z& p) [2 x1 ]5 k
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
8 \/ g: k" p  B* a) F/ H
$ B6 e! u$ B" k5 z# w  O(4)建模：参数调整使模型最优。

7 [$ _: q1 j% E& o(5)评估：评估、挑选最佳模型。
) ]6 S3 E( B6 |+ b# c( D
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
5 W* v. j2 a  @* a. d
# ]2 \& k4 Y7 |$ P9 Z" WSAS数据挖掘方**：SEMMA
/ v& E8 u, U1 g$ E1 V
  s. K. W* `  L, H8 T. m8 {(1)Sample-数据取样
# a9 ]0 G$ z9 q, |& n( [
(2)Explore-数据探索
2 Q* L$ I) r9 }# a( D/ [" u% F
(3)Modify-数据修正

(4)Model-建模
% d' C8 J: o1 c6 D! `1 f1 e
(5)Assess-评估

% I  d6 S7 |4 \$ m+ O5 `
二、经验谈
& h( z1 D. L! `, q/ Z; ]/ {  s
/ @1 j4 l1 a! S1 m9 P& `2 K4 d(1)明确要解决的问题

(2)确定最终评估标准
- Z3 ]. d' o# q* {3 z
(3)设定期望方案

(4)简单项目到复杂项目

(5)团队合作，协调沟通

(6)避免陷入数据垃圾

4 ^( C! |1 ~! l1 W- H( G/ P# d