数学建模社区-数学中国
标题:
数据挖掘建模过程
[打印本页]
作者:
浅夏110
时间:
2018-11-2 09:13
标题:
数据挖掘建模过程
一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
; U) u$ `, [% m
9 K& p/ B' _9 p- ?' r
知识发现的的三个阶段：1、准备数据； 2、数据挖掘； 3、结果表达和解释
$ R8 a- b! I6 t+ q" u8 p
& U" x+ Z5 W+ W: V3 ~- X% B d
最著名的数据挖掘标准流程：CRISP-DM
) E1 S# Y7 \3 l$ d5 ?) ^$ A, z
0 }8 m4 a9 s$ ?0 j0 M
全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布
: b- T" q6 I# z" p+ T
- ]/ j) M1 {6 [" l' v
(1) 业务理解：分析需求、初步收集数据和指标
' k6 Q( m" n1 F; Q; b$ L! v a" v
. N( x# G2 V( G" }
(2)数据理解：理解各个数据字段的含义所记录的业务信息。
2 d' @ d/ S7 i3 g/ M
5 D1 K4 O3 m' f5 ~; N
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。
& ?6 N" q, u# D4 M& n
4 O$ \! F( h( k& l2 U; M
(4)建模：参数调整使模型最优。
5 F8 z/ F% ~6 V% X" ~
5 P6 I+ c1 \1 w+ o
(5)评估：评估、挑选最佳模型。
0 |* v# l8 `7 w, n6 P) _8 c% ]
6 v: z# \6 D3 n5 k% }
(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。
: O) A5 B( P: S- T) D
2 G X2 H: @3 A! T7 y0 r; J& w
SAS数据挖掘方**：SEMMA
9 _( j, m, }8 a2 ]
7 o- K& S% Y/ B0 x2 S! I) b0 r/ S
(1)Sample-数据取样
, _6 ^& w9 r+ d9 E- _
# ^# r3 M4 }7 g6 M0 G
(2)Explore-数据探索
4 R E1 R" D; K- ~0 c' @
1 {2 `: d2 |( L8 z; C- M( k
(3)Modify-数据修正
8 x9 }0 P6 w8 h) \ b0 l8 t
2 |# I m! u0 }* s8 z. u9 F% K
(4)Model-建模
( S. ?0 u3 B, H! J& f( h/ ~
/ G# {2 i4 }3 D) y
(5)Assess-评估
. i! K. w% L6 @2 ?* O' D3 E
+ @9 W& j6 l6 B( Z3 R( g# V: ]
$ b; V4 L; ~; s
二、经验谈
5 L, \9 P' d* S4 v4 }5 R7 Y
1 x5 m0 A' Y7 j2 v* O5 \3 z
(1)明确要解决的问题
2 I, r% a- |* z/ y( p4 V3 G( m
3 U- J% X* d/ [( k9 M5 Q( { Q4 p. K
(2)确定最终评估标准
- I1 W5 }4 P: t! w3 E, ]' W7 K
& H$ Y0 r, L7 H( W7 ]. x6 C( r
(3)设定期望方案
/ |6 L! q# I' g+ Q; X: E
) W' {& x" s! n1 `8 ?5 R
(4)简单项目到复杂项目
& k2 ^1 O' d9 a4 O% ~4 h6 K7 _, `
; I0 u- t9 G1 U0 J; H; j2 i/ d
(5)团队合作，协调沟通
$ n& M- a: ]' F- t$ F- \# ]
5 f7 y$ J6 G8 K8 _. L
(6)避免陷入数据垃圾
# Z( o: o7 c9 L: `1 c
" S7 E7 K) f. f, H
( m8 V! e2 g1 D/ d; B1 d
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5