- 在线时间
- 791 小时
- 最后登录
- 2022-11-28
- 注册时间
- 2017-6-12
- 听众数
- 15
- 收听数
- 0
- 能力
- 120 分
- 体力
- 36344 点
- 威望
- 11 点
- 阅读权限
- 255
- 积分
- 13864
- 相册
- 0
- 日志
- 0
- 记录
- 1
- 帖子
- 616
- 主题
- 542
- 精华
- 12
- 分享
- 0
- 好友
- 225
TA的每日心情 | 开心 2020-11-14 17:15 |
|---|
签到天数: 74 天 [LV.6]常住居民II
 群组: 2019美赛冲刺课程 群组: 站长地区赛培训 群组: 2019考研数学 桃子老师 群组: 2018教师培训(呼伦贝 群组: 2019考研数学 站长系列 |
一、数据挖掘(Data Mining,DM),又称为数据库中的知识发现(Knowledge Discover in Database,KDD),决策支持过程,主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,分析、归纳、推理,挖掘潜在的模式,帮助决策者调整市场策略,减少风险,做出正确决策。
* r t( A$ S1 i* g1 S& ?$ q* j! n" x+ w: f8 a3 Q( K( D/ ]
知识发现的的三个阶段:1、准备数据; 2、数据挖掘; 3、结果表达和解释9 a/ `, Y9 O( q* S* ^
0 F2 B* | x4 ^0 j最著名的数据挖掘标准流程:CRISP-DM- ]. \) z3 R3 w( U' z4 s
* e. L1 l0 M# q( s6 h- f全称为跨行业数据挖掘标准流程,分为6个阶段:业务理解、数据理解、数据准备、建模、评估、发布8 a. u, n( |' I
0 u. l1 k e3 d# B9 b( P7 J! s(1) 业务理解:分析需求、初步收集数据和指标
0 U/ j$ S- w, ]; j8 v F8 k
8 E" ~& ^" c. T% b( t4 ?(2)数据理解:理解各个数据字段的含义所记录的业务信息。/ w6 T6 s! o3 m, T1 q2 \' E
. w" p Q- H6 {(3)数据准备:数据清洗、提出、转换,提取样本,清除噪声,处理缺失数据,数据标准化。
5 Y/ r. x! u0 _8 R$ D7 F- v! Y6 y2 n1 l8 k$ D ?
(4)建模:参数调整使模型最优。# V6 A; F& t2 t
6 H$ K# X2 f" \% E5 H, S, e2 ?0 o4 h' J+ A(5)评估:评估、挑选最佳模型。
! T- w0 Y0 y) F/ I/ `4 s# [* f6 G) b* `7 s) O) M8 r& t
(6)发布:将模型运用于实践,跟踪反馈,了解效果,后期优化。8 i6 h" r; m0 i( w! M
* e$ M7 e% R2 u( Q7 DSAS数据挖掘方**:SEMMA, F. b& o9 f2 @) c
, O& o* s* s$ f l4 g5 \(1)Sample-数据取样
! W e) h8 @1 w" O/ q# ^5 G5 v4 } ~1 R% L( A, j0 h% K0 v* d) Z
(2)Explore-数据探索7 H- U6 k9 v) q3 {
, a/ L+ P7 H/ Q. \3 W
(3)Modify-数据修正. ]* Q% \- @$ f, w
1 ?$ I! Q+ [6 t5 o" K$ X+ z, x
(4)Model-建模
; i# w; s. ]7 a6 q: }: e
# ?; t5 w* y% z" i(5)Assess-评估8 q" f; l! b; L) c( w1 e5 y
6 M- Y8 T- i, Z' \: b, ^1 B6 m5 q/ e& [: ]0 S1 H+ S
二、经验谈. S$ }+ u e! F3 I6 ]0 K
/ G1 M- ~0 ?: @' ~
(1)明确要解决的问题
. N# Y; i/ Q: `. @. M
7 h, M$ f" k# Q; T9 i(2)确定最终评估标准
' O- o; ?, c& x' W' b2 c: l' h& H. }9 v0 _! E) D
(3)设定期望方案. l: ~" A2 d8 o5 X+ z% F
o$ D! q% r0 e' ^3 T
(4)简单项目到复杂项目4 R( |0 G& P2 p: X; Q
0 T. B) s0 @; T( d- C2 z
(5)团队合作,协调沟通9 f0 V7 [4 q; Z1 f4 J" U, M
% m' p! P- J. l$ o2 w5 ^
(6)避免陷入数据垃圾
* g1 k$ ^# T# V& V
' A# ^; e$ v# v3 u4 r R8 N" H# Z. }
|
zan
|