数据挖掘建模过程

浅夏110

一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
* r  t( A$ S1 i* g1 S& ?$ q* j
知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释

0 F2 B* |  x4 ^0 j最著名的数据挖掘标准流程：CRISP-DM

* e. L1 l0 M# q( s6 h- f全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布

0 u. l1 k  e3 d# B9 b( P7 J! s(1) 业务理解：分析需求、初步收集数据和指标
0 U/ j$ S- w, ]; j8 v  F8 k
8 E" ~& ^" c. T% b( t4 ?(2)数据理解：理解各个数据字段的含义所记录的业务信息。

. w" p  Q- H6 {(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
5 Y/ r. x! u0 _
(4)建模：参数调整使模型最优。

6 H$ K# X2 f" \% E5 H, S, e2 ?0 o4 h' J+ A(5)评估：评估、挑选最佳模型。
! T- w0 Y0 y) F/ I/ `4 s# [
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。

* e$ M7 e% R2 u( Q7 DSAS数据挖掘方**：SEMMA

, O& o* s* s$ f  l4 g5 \(1)Sample-数据取样
! W  e) h8 @1 w" O/ q# ^5 G
(2)Explore-数据探索

(3)Modify-数据修正

(4)Model-建模
; i# w; s. ]7 a6 q: }: e
# ?; t5 w* y% z" i(5)Assess-评估

6 M- Y8 T- i, Z' \: b, ^1 B
二、经验谈

(1)明确要解决的问题
. N# Y; i/ Q: `. @. M
7 h, M$ f" k# Q; T9 i(2)确定最终评估标准
' O- o; ?, c& x' W' b2 c: l
(3)设定期望方案

(4)简单项目到复杂项目

(5)团队合作，协调沟通

(6)避免陷入数据垃圾
* g1 k$ ^# T# V& V
' A# ^; e$ v# v3 u4 r