数学建模社区-数学中国
标题:
数据挖掘建模过程
[打印本页]
作者:
浅夏110
时间:
2018-11-2 09:13
标题:
数据挖掘建模过程
一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
: Q* U G6 w5 l; d9 p
/ r# d8 R8 o2 H; R
知识发现的的三个阶段：1、准备数据； 2、数据挖掘； 3、结果表达和解释
% I9 F+ Y- i' Q* G1 r- \
9 i5 x9 @% }( |
最著名的数据挖掘标准流程：CRISP-DM
& w" T: e1 E4 F( K/ r3 Z$ q
+ Y2 ~: a' v# p
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
/ |, Z7 y% W0 f" z4 p
* _0 ^" ` z$ Y% t6 Y6 j/ e
(1) 业务理解：分析需求、初步收集数据和指标
3 V$ X1 D0 L; c8 j2 D
- i8 _# u. L: X2 O" I+ K: [
(2)数据理解：理解各个数据字段的含义所记录的业务信息。
( C6 ~, h, G$ {+ ^8 k, _' L
9 m! B. t6 f" o; H
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
: f& o8 q& q5 C3 w
: V! u4 r% \; A7 [, L
(4)建模：参数调整使模型最优。
6 {8 A/ @; a% ^( J8 j) q1 e( I
1 {. o' ?" R i$ ?$ Q1 Q! I$ D
(5)评估：评估、挑选最佳模型。
5 g% K6 ~* e$ X# |" o* p T, C# } h
4 D. H- e7 j' r0 n' O# f S
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
" u! g/ j0 y, T2 ^5 |
7 P; [! H& U- v. ?+ f4 e9 H1 D% m
SAS数据挖掘方**：SEMMA
5 e8 E' V+ l, V/ R W
/ ^# P. `! w4 }9 r
(1)Sample-数据取样
4 ^$ Y# S! |) T* g
% P- S( H: v7 n& u' v% p
(2)Explore-数据探索
) ^* w" c; r7 p& c
9 K3 T8 |! \1 B) l2 i2 x) n
(3)Modify-数据修正
2 n$ j* c' |* f7 h* V/ |8 `- @0 V4 H
! P3 X& r) u# }* y" B) _. x
(4)Model-建模
6 L+ L' o3 b) G
7 r" O2 v6 D4 \- ]3 z
(5)Assess-评估
" j$ w" X9 H6 f5 l% L9 K( R
# i) M; @; Q* H+ N
( |* P9 `4 j7 Q2 f
二、经验谈
4 _8 T. N7 u9 o5 k. J
" r4 ~" i) Q q$ R+ Y
(1)明确要解决的问题
7 | b1 n- \# r% ]& ]0 h
' Q* X% o/ c5 v' q/ l6 V
(2)确定最终评估标准
. J7 P9 M, {) D5 }8 A
9 K7 n' o0 Y' a" }1 E$ w; y" Y
(3)设定期望方案
" Y$ ~6 G5 [/ i2 d
( Z; O) C7 ~1 ?; T# I/ N
(4)简单项目到复杂项目
( T1 O# V7 W& Y, W5 [( |# B5 x
* {+ n3 |0 d5 `1 ~; P
(5)团队合作，协调沟通
0 H9 X# ]9 F3 }. ?, P' g5 O h5 {
% H7 A( m/ j4 y/ p- G
(6)避免陷入数据垃圾
4 b- s z, Y6 j1 r8 S5 V# x
+ U6 a% I5 S, o, O0 d
0 G, M3 x" k% Q. W7 U3 l; G \
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5