- 在线时间
- 791 小时
- 最后登录
- 2022-11-28
- 注册时间
- 2017-6-12
- 听众数
- 15
- 收听数
- 0
- 能力
- 120 分
- 体力
- 36344 点
- 威望
- 11 点
- 阅读权限
- 255
- 积分
- 13864
- 相册
- 0
- 日志
- 0
- 记录
- 1
- 帖子
- 616
- 主题
- 542
- 精华
- 12
- 分享
- 0
- 好友
- 225
TA的每日心情 | 开心 2020-11-14 17:15 |
|---|
签到天数: 74 天 [LV.6]常住居民II
 群组: 2019美赛冲刺课程 群组: 站长地区赛培训 群组: 2019考研数学 桃子老师 群组: 2018教师培训(呼伦贝 群组: 2019考研数学 站长系列 |
一、数据挖掘(Data Mining,DM),又称为数据库中的知识发现(Knowledge Discover in Database,KDD),决策支持过程,主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,分析、归纳、推理,挖掘潜在的模式,帮助决策者调整市场策略,减少风险,做出正确决策。# S: h: k( g1 C5 |
V5 L D* j7 t4 {. i
知识发现的的三个阶段:1、准备数据; 2、数据挖掘; 3、结果表达和解释
: s+ H( h. f. o" W9 r, |# g N% ~6 b0 \4 k! y
最著名的数据挖掘标准流程:CRISP-DM
2 `$ p# E0 a; a& U3 D3 ]6 \2 R; Z( X( N% b% G" \
全称为跨行业数据挖掘标准流程,分为6个阶段:业务理解、数据理解、数据准备、建模、评估、发布7 V. J6 |( c8 u
9 T6 _- u) g; E7 ~: k2 D% l' q(1) 业务理解:分析需求、初步收集数据和指标
4 C( q+ I, ~* u2 P% D8 p' G# M2 q- x& Y I( Y" Y6 Z- ^
(2)数据理解:理解各个数据字段的含义所记录的业务信息。
. N3 [) }* i# F! F/ ~& h
: j7 s; U: f i: h" i- e) ?3 w: _(3)数据准备:数据清洗、提出、转换,提取样本,清除噪声,处理缺失数据,数据标准化。
: J% [- Z* p" L- n8 W9 Z
1 Q# v$ [6 D6 j(4)建模:参数调整使模型最优。5 }3 @ ~" n$ ]; c' ~; J
' n3 n. F5 S4 l+ R6 V% s+ ^8 u(5)评估:评估、挑选最佳模型。
4 B. ~# w$ W7 |- U F, q+ t! N2 V& _" r" k6 e
(6)发布:将模型运用于实践,跟踪反馈,了解效果,后期优化。
6 c% U% [7 X- P8 S- _) u
* E: m) f3 d$ `SAS数据挖掘方**:SEMMA
3 K7 R" x1 A' @4 F' O# B
2 @! B- x2 ]" _& P4 J' v1 a(1)Sample-数据取样
, m2 |) m- C: W5 d. t3 ?
) A' K- a+ q4 o+ z4 _& H& ^8 @. |(2)Explore-数据探索' e4 `3 e6 T3 ^! ?- E3 E! o& A
3 h' `! E/ i4 J9 }
(3)Modify-数据修正5 h! w, a( B0 t% a2 {
: z& A- T* v; | V/ ^, X% n& u(4)Model-建模
: R/ t) K8 v9 n7 @8 y x
! `7 [! X! \: T+ y8 q(5)Assess-评估
, D6 W6 z; b1 N/ N& |
4 C. ?$ {" _* i( z5 X/ f& l6 p! N4 g. V
二、经验谈
; ?; ?1 M9 K8 V3 s
m3 P, |5 {3 ~; `# H(1)明确要解决的问题
( v- j8 H8 q- \8 t2 P1 ~6 E, E+ a* }# O: r9 S5 v
(2)确定最终评估标准8 y- T3 v* ~4 }, _% K, ~
4 E5 O8 Y+ W; y4 V: e7 l(3)设定期望方案: e, b! ~- O, V' I9 y, M
' }5 L8 o- U0 {. r$ e# ?, g1 p(4)简单项目到复杂项目
0 B+ Z3 S; t$ x) ~7 x% {. v
1 u- _' x4 k# C* d4 N6 J" [% M, u(5)团队合作,协调沟通
% A: y7 |8 s6 c4 E/ Z) @! K5 I# ?6 l
(6)避免陷入数据垃圾" Q4 w8 y9 M( Z* D: o) S
1 S3 d6 K& |) Z4 n/ i
2 }2 q% S7 e+ X S" b4 j$ v |
zan
|