数学建模社区-数学中国
标题:
数据挖掘建模过程
[打印本页]
作者:
浅夏110
时间:
2018-11-2 09:13
标题:
数据挖掘建模过程
一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
& P, h( ?0 X) {5 I8 a
! O. a7 t% h: B
知识发现的的三个阶段：1、准备数据； 2、数据挖掘； 3、结果表达和解释
0 y) D$ y4 ]/ v% y5 s
$ S1 V. ]1 G- s ]9 {
最著名的数据挖掘标准流程：CRISP-DM
5 n* e6 Y4 ~ ~. {& d/ X0 M
* F8 X' a9 d1 \3 f6 ~
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
' C! e. Y& Y* _% O, z. c7 \, Y
d4 z9 @ Y3 b; R) i. C
(1) 业务理解：分析需求、初步收集数据和指标
: j' F2 F4 O6 M; P5 J2 ]
& Z8 z1 c- w5 ~8 j, t) U
(2)数据理解：理解各个数据字段的含义所记录的业务信息。
1 r& x. Q# }( W3 I$ w; d
% v7 H0 g5 _0 K9 J; f, n8 S' Z
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
" @% E* G U& t% c
/ K0 _7 T. U3 t' F( h" g
(4)建模：参数调整使模型最优。
$ U$ P5 w$ {0 e; ]% o+ r! G
, c5 [/ f# a( @1 o1 R+ u" p
(5)评估：评估、挑选最佳模型。
+ l& i, M* k2 q
5 M: o6 f) W$ l7 S5 w5 v
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
! x2 ?: G2 }% A* C1 R
* [% F! t- D! f% r" Y0 m/ N j
SAS数据挖掘方**：SEMMA
2 |5 A+ A4 H3 E" p" ?+ X
7 Y/ ~, Z; I' V( _5 U
(1)Sample-数据取样
) E; u) ]$ T6 S
. g; H3 x% X7 `# V
(2)Explore-数据探索
3 M; g, Q$ h2 u. u5 P" Q, |
# u: H& C$ j( g Q! Q# J
(3)Modify-数据修正
9 p0 k- [& F8 ?5 D" N
! s; Q* @1 {: L2 t
(4)Model-建模
2 ^7 d% `% w) l* \+ {6 @) `
7 C0 ]- R j) m; W1 x5 _
(5)Assess-评估
9 F* G5 X1 n5 S, G7 I$ S* \
! W; @; ^! T. \8 y+ E
3 u: s& N6 D- R' T2 O$ k
二、经验谈
+ f9 p9 _" J; b
) C8 L$ v+ z# u0 G9 j& v
(1)明确要解决的问题
; W7 J6 Y% [! w* M; P. `
5 {# V! R, I* n4 E6 m* l
(2)确定最终评估标准
3 `* M5 m+ {0 {2 j+ h7 o
, l# r6 G5 b8 N, [ d* k
(3)设定期望方案
+ W; ]2 o! P; V( e
3 z6 q- r$ S& W1 w4 P
(4)简单项目到复杂项目
6 c, c+ }3 R7 v6 \2 |, p/ r
* H8 A7 v1 w, B; n6 F
(5)团队合作，协调沟通
7 X) A9 o& o) @% X1 H; I
. I# W) ?, f. p# D$ W" n/ Z/ ~
(6)避免陷入数据垃圾
) r/ C7 R! ^% x5 C% ^# H9 \
1 C. z7 O- p( O7 k7 |5 r* b9 M
+ j% [, {" F* U/ S4 \/ H2 G! x% [
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5