- 在线时间
- 791 小时
- 最后登录
- 2022-11-28
- 注册时间
- 2017-6-12
- 听众数
- 15
- 收听数
- 0
- 能力
- 120 分
- 体力
- 36453 点
- 威望
- 11 点
- 阅读权限
- 255
- 积分
- 13897
- 相册
- 0
- 日志
- 0
- 记录
- 1
- 帖子
- 616
- 主题
- 542
- 精华
- 12
- 分享
- 0
- 好友
- 225
TA的每日心情 | 开心 2020-11-14 17:15 |
|---|
签到天数: 74 天 [LV.6]常住居民II
 群组: 2019美赛冲刺课程 群组: 站长地区赛培训 群组: 2019考研数学 桃子老师 群组: 2018教师培训(呼伦贝 群组: 2019考研数学 站长系列 |
一、数据挖掘(Data Mining,DM),又称为数据库中的知识发现(Knowledge Discover in Database,KDD),决策支持过程,主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,分析、归纳、推理,挖掘潜在的模式,帮助决策者调整市场策略,减少风险,做出正确决策。
8 x4 I. ^: b6 z/ D: V: z2 D4 {( a5 W( j1 h1 w; N& x) N" V
知识发现的的三个阶段:1、准备数据; 2、数据挖掘; 3、结果表达和解释; ^6 S9 i2 i8 a" [* q
4 S2 {- M& d1 V1 Z' O H3 Y3 n最著名的数据挖掘标准流程:CRISP-DM/ C& B8 g" b+ I6 W) N _2 ]
9 v: t. j* l, ?6 x0 U
全称为跨行业数据挖掘标准流程,分为6个阶段:业务理解、数据理解、数据准备、建模、评估、发布' K/ o3 m) l2 u$ |+ p t
, T* ^' a; j: O- \ \(1) 业务理解:分析需求、初步收集数据和指标& m% c; k D" f3 v/ i/ J/ X$ G0 N
) K$ ^0 K* j. \! Z ?% Q+ r
(2)数据理解:理解各个数据字段的含义所记录的业务信息。
& V f) \0 I* `+ \3 l" o+ i# j, S9 W6 U- |. e' D. J9 w
(3)数据准备:数据清洗、提出、转换,提取样本,清除噪声,处理缺失数据,数据标准化。
1 z* O, O1 D5 k5 V% M" i& ~: {- [: M( W* O5 z |
(4)建模:参数调整使模型最优。
, _( Q& q) _- {( ?, L* ^7 n
9 z2 x/ S, f% s6 i& |0 C$ k# k(5)评估:评估、挑选最佳模型。
1 y, K: K2 m; ]9 y9 {
% { x, w+ Z4 D# ]8 L(6)发布:将模型运用于实践,跟踪反馈,了解效果,后期优化。% l; @1 S! F8 k: \* U
- ], m0 q- r" f2 U
SAS数据挖掘方**:SEMMA
' G4 q% b- g2 M/ {4 k
; L! Y7 U, i$ h9 F8 E& A' ?4 G(1)Sample-数据取样
+ s. M3 g, ~0 G2 [
' l9 U. v' A7 l6 [(2)Explore-数据探索
% L, m; j! f u/ I
' j5 ?, K. n6 v+ m* V(3)Modify-数据修正
, Q- c! k- F6 N( Y: h8 T8 g- }' G! W, Z5 B3 |2 @& O1 x
(4)Model-建模
+ x* ]" w6 S1 @6 ~6 o7 ?& g
9 Q. i) p( p5 S- B0 _ y' ]8 k(5)Assess-评估
9 T+ L. r6 I- ^ W0 w7 j, ~5 D8 c7 F' J$ n* {
" q, m/ j Q- P9 T% B5 J
二、经验谈# x t/ \* L9 {) M1 F! D o; b+ f
+ k: s: i9 V |) H(1)明确要解决的问题0 G% ?; e& ^" }6 L' L7 a# A
+ W @# p5 A1 U(2)确定最终评估标准8 y! t. u. V" B; i" H- W* E
# r. a( ?- _1 u B- a5 _( V8 ~
(3)设定期望方案' k/ G+ Y% @3 B3 y0 d$ i
7 z/ m, O; u7 ^6 y+ R; d(4)简单项目到复杂项目* J0 ?# B7 U7 K4 u, _: b9 j
6 @: U3 D8 V- r A# S(5)团队合作,协调沟通
+ z5 |0 Q ~- ?3 I/ I7 W! }
% t9 J2 w6 U3 v! \(6)避免陷入数据垃圾2 e A4 E& j- @
7 {6 z. k" y/ j. J* M1 Z
! F4 \5 z0 `; O& F- d |
zan
|