数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
; a: u4 f% E, z' K
- V9 i9 }0 z2 \) k5 M- y知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释
" C' k" ]- A$ [' l- [0 Q
最著名的数据挖掘标准流程：CRISP-DM
5 x5 q- P3 ^* I' c
& T2 n. M& t# g$ V全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
/ B0 j* K7 h/ z* S, m3 Y8 i, B
: J- g: s8 n* N(1) 业务理解：分析需求、初步收集数据和指标
6 D3 r1 i; G7 d/ [
& w- N3 b& U$ L0 q8 |& `(2)数据理解：理解各个数据字段的含义所记录的业务信息。

$ F1 S6 @2 B8 W(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
' T. j. G( X: n/ J
(4)建模：参数调整使模型最优。

(5)评估：评估、挑选最佳模型。

(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

  F8 H( ?) V& z( @% v0 YSAS数据挖掘方**：SEMMA

(1)Sample-数据取样

(2)Explore-数据探索

(3)Modify-数据修正
4 Q* ?. B% u5 Z/ q) M8 D5 ^% P
(4)Model-建模

, w- t& A: q: Q# o" c9 l(5)Assess-评估
$ L3 J1 R& p, b) D5 v

二、经验谈

9 H9 o- I6 P4 D(1)明确要解决的问题

/ F* Q4 N& g. h$ J4 d# S( `(2)确定最终评估标准

(3)设定期望方案
0 P; V; E/ C" R# @: _1 \
(4)简单项目到复杂项目

(5)团队合作，协调沟通
' h+ f4 ~2 a! [$ `( ]$ P2 P  V" {( {' w
(6)避免陷入数据垃圾