数学建模社区-数学中国

标题: 数据挖掘建模过程 [打印本页]
作者: 浅夏110    时间: 2018-11-2 09:13
标题: 数据挖掘建模过程
一、数据挖掘(Data Mining，DM)，又称为数据库中的知识发现(Knowledge Discover in Database，KDD)，决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，分析、归纳、推理，挖掘潜在的模式，帮助决策者调整市场策略，减少风险，做出正确决策。
9 _/ }& J# _+ W7 D( h' n# N$ P
* ]. n. ~. q+ A! i" \知识发现的的三个阶段：1、准备数据； 2、数据挖掘；  3、结果表达和解释9 Z7 ]4 l. A7 d4 O' g
* o  K3 u. H* }. \# Z5 T( b+ t
最著名的数据挖掘标准流程：CRISP-DM8 o' U/ P  a) M- l  R4 N8 T7 Z

: B& [; p& l3 v6 p2 S7 l; \7 `& C全称为跨行业数据挖掘标准流程，分为6个阶段：业务理解、数据理解、数据准备、建模、评估、发布: B# |' x6 }. {* o9 |; F6 S
8 p( S. Z5 j9 ^% Z5 {9 x
(1) 业务理解：分析需求、初步收集数据和指标  M! U8 G5 ]+ E* s& S

  c8 S2 x7 `6 Q: l( d" B1 v(2)数据理解：理解各个数据字段的含义所记录的业务信息。
( {( e4 I( J+ m% b5 [! R0 X; Y4 p+ ~5 T
(3)数据准备：数据清洗、提出、转换，提取样本，清除噪声，处理缺失数据，数据标准化。! j2 H; C/ _& A
5 C6 V& m- j) A8 }7 P- H$ b: l. v
(4)建模：参数调整使模型最优。
& S4 C" l5 i" T# }, ^" W8 z# |- F- g, s7 d  G" q
(5)评估：评估、挑选最佳模型。  ~9 N% v" `: U' W6 J

8 q; P% I. j7 W' ?5 a(6)发布：将模型运用于实践，跟踪反馈，了解效果，后期优化。* ~2 J- p" O. ]$ n5 K
2 s3 \  i. c3 M$ u" F- u
SAS数据挖掘方**：SEMMA
  `3 I/ h1 m6 {/ n3 g) h0 r+ {9 T6 b8 M! W! ^
(1)Sample-数据取样, t! e- S5 f; G( g
0 _+ t& L+ P6 G$ r$ ^
(2)Explore-数据探索7 q& x' `: P  |- n8 {# C# `, \* F
5 q$ I9 v/ j5 E& F0 q
(3)Modify-数据修正
$ j( X' |( j" V6 ?: j& D
  @" L: p& B4 m9 L% v5 J(4)Model-建模
2 ?  i7 X* V8 Z! h9 o& T3 M
* P6 e! h- K. S4 }& {  y" b- I" D(5)Assess-评估% d* u1 I8 r2 w

3 P7 K6 {( f& V5 q, z
- u9 i4 S% o  `( H" l二、经验谈0 Q% \. N: z. M! l" b; V) c  q
* ?( g2 o* v. q0 l8 _1 G" z
(1)明确要解决的问题" ]) q/ M7 ~" p
4 e3 b" Y$ D" S8 L
(2)确定最终评估标准
) l5 S) G: w( c/ v. w% I6 y3 e1 |0 x2 L4 O! x$ r7 ?: C2 k
(3)设定期望方案
3 {& F0 @3 m. ?, D5 S0 j! Q% Q  Z" z0 M& g6 _. B* d# i
(4)简单项目到复杂项目0 x9 X0 @: N' A8 _! o

% \! i( ~/ E& P5 o- U& v(5)团队合作，协调沟通
' W- c8 u- I/ Z4 X* t& k& o/ O  C  i; ^7 e6 w* `( b3 m" j* y
(6)避免陷入数据垃圾
: n: |0 t4 ^1 b9 @% {, x% e( B# Q! R" B

) \% E% u; X9 e2 J



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5