数学建模社区-数学中国
标题:
数据挖掘建模过程
[打印本页]
作者:
浅夏110
时间:
2018-11-2 09:13
标题:
数据挖掘建模过程
一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
& `6 K7 r2 B9 \6 j1 c
0 L9 ?. F3 O$ x( u- T% T# o1 ?
知识发现的的三个阶段：1、准备数据； 2、数据挖掘； 3、结果表达和解释
7 I( N5 E/ i: X! A
4 [7 W8 m% h: S2 F! q3 t9 C
最著名的数据挖掘标准流程：CRISP-DM
5 X4 U3 m5 J6 ^1 Q' R4 {
2 b$ a% T$ i/ O4 G5 I1 n/ s
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
3 w0 e/ N b2 H" i; d$ K
" r6 e1 J# ?7 R( j- F! R
(1) 业务理解：分析需求、初步收集数据和指标
+ B5 I- G; B( c* S" k$ a
. P3 T' k ]& r. z1 s+ X
(2)数据理解：理解各个数据字段的含义所记录的业务信息。
9 }* _) t3 V" O) N* @# F
7 S7 [0 A: _+ I. y _- d2 O
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
8 I. A& S) M2 j7 B1 h
' B% k" n1 @9 A" f- n6 ]
(4)建模：参数调整使模型最优。
6 I+ m7 ], j2 I. _# u6 |1 Y7 H
+ g9 D4 g4 Y; Y7 B
(5)评估：评估、挑选最佳模型。
- |1 l9 b6 ~2 m
" j) }/ G+ I9 d7 I% L0 m
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
4 R w; Y3 U+ @0 ~4 H" ^2 V
: ?6 V$ \/ m4 g* |7 |: ?( J
SAS数据挖掘方**：SEMMA
* G7 _. u& d! K4 q( `9 p
. w$ v9 S' B* q2 j
(1)Sample-数据取样
K v( w. K3 u) ?! b" H9 H, S
' ~! R! Q/ k$ B& J3 S2 A: i6 d( G
(2)Explore-数据探索
2 S4 u4 W+ }/ k U; T$ Q0 H
+ [. C8 [4 X# K' o7 k( q. ]
(3)Modify-数据修正
( @3 H) p3 I/ V$ ?
/ v, r( N, O, a N5 [+ {& j
(4)Model-建模
* v6 b3 Z. o$ |; T$ q0 _+ j3 U, S
- ~% T. l7 Q* b5 U- N, T
(5)Assess-评估
3 ]( f r. s4 n
% x# r% |0 s/ b8 B* q8 M7 Z
7 x! U/ ?* J/ [0 k* Q8 {
二、经验谈
/ M; m8 T8 `9 M3 D6 L8 o7 x
* @" g2 Q* D. ~7 {
(1)明确要解决的问题
; ~$ C5 n& C( ^5 e( |# r, }# o
# `7 }( N4 i/ u4 f
(2)确定最终评估标准
/ r0 m, g9 O8 z
% c: _% y+ J4 C2 G0 M
(3)设定期望方案
8 B" c" ~. ?- `$ D
; ?2 r# t# M+ H0 K6 p, t
(4)简单项目到复杂项目
3 t; L8 V& t) i1 L- T( C
: U/ a8 D% J1 S! O3 O+ m) m
(5)团队合作，协调沟通
_# Q g% _2 N @# z: W
. ]% P& \' D5 u' M7 x
(6)避免陷入数据垃圾
) S( ?( G/ B% L- Z/ }- P( z# C. j# K, [
6 ~/ G' O- }: _: ~
% g4 J9 e: r* l7 j
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5