数学建模社区-数学中国
标题:
数据挖掘建模过程
[打印本页]
作者:
浅夏110
时间:
2018-11-2 09:13
标题:
数据挖掘建模过程
一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
$ ]3 u: r3 V% V2 ^( J, @
, Y6 H5 g$ C3 S8 Z7 R. c) B
知识发现的的三个阶段：1、准备数据； 2、数据挖掘； 3、结果表达和解释
8 Y1 D* k5 r6 ?! t( u
- y) z/ Z) ?4 }1 k5 {$ U. Q
最著名的数据挖掘标准流程：CRISP-DM
$ e4 [* ~- F7 [( H. a: W
' P8 D0 x0 |; k+ q# b5 h
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
0 a: \# v- \( j. b+ g
( J0 _. f5 L# a! ^9 g( ?2 A
(1) 业务理解：分析需求、初步收集数据和指标
- B/ g3 F9 J Z
: L: k0 t+ D* ]2 Z! Q4 T# A
(2)数据理解：理解各个数据字段的含义所记录的业务信息。
0 K9 S2 `2 g$ ~' N0 o( h' @
/ o8 H$ S; E+ r' p8 I% m, O
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
3 @7 b0 L7 c+ Y2 b. s9 O& D
- z. e3 i: K8 G0 `' u2 @
(4)建模：参数调整使模型最优。
+ a/ v$ g! K5 H, D3 n
+ P) u# m2 P2 Z( p2 F* c/ D/ j
(5)评估：评估、挑选最佳模型。
# l" V9 g% q. F# E( L+ ]
' ~0 y9 w; m/ D1 x
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
& p# O' J$ b) i
% [& e6 G8 z3 u: J" U: ]- S$ l/ K& R
SAS数据挖掘方**：SEMMA
. f5 ^, G* n `) M
/ E) z4 X4 M0 |: V* D5 k
(1)Sample-数据取样
4 j/ f/ v. R1 M
* M' [+ B, q& X* J& I7 e; v
(2)Explore-数据探索
2 c% ^& j, D+ [4 Q, R, |4 _
. G) q. M: D+ o6 l$ ?/ s' e
(3)Modify-数据修正
/ @9 ]2 O7 r' ]0 q, q, K: e' b6 C- w
' u9 u4 \4 v M6 K7 p# O
(4)Model-建模
* ^) B- Q8 j! L; x$ U3 l
( M% }3 Y5 c; t( B
(5)Assess-评估
3 l8 o! ], x3 `$ x1 _
5 [* z( _* M y& @
6 n- S: ?9 u {9 g7 O
二、经验谈
2 R J1 Q6 z$ t
) o$ f& N0 ]* t" y7 |
(1)明确要解决的问题
' c ~! ]6 b5 c+ C
! P6 J4 K- [8 ~3 M" ?
(2)确定最终评估标准
+ G, @9 Y& | l8 [6 _. k$ k* f
+ e5 j6 R, H6 `7 ]
(3)设定期望方案
2 T; }& U) f7 H K7 Z
, C/ [/ F! S% R$ z7 l/ }2 S
(4)简单项目到复杂项目
, O8 ]. x5 p! S
8 g5 s, j- j# ?( l5 P" e4 [
(5)团队合作，协调沟通
?- f) v% d2 {
, N3 h: n% `/ i; y5 b! C; t" T
(6)避免陷入数据垃圾
# i/ r5 @/ I/ C5 B# ^
' u- v0 X0 U x. v6 Y7 M
3 D* }$ o0 M' u
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5