- 在线时间
- 791 小时
- 最后登录
- 2022-11-28
- 注册时间
- 2017-6-12
- 听众数
- 15
- 收听数
- 0
- 能力
- 120 分
- 体力
- 36393 点
- 威望
- 11 点
- 阅读权限
- 255
- 积分
- 13879
- 相册
- 0
- 日志
- 0
- 记录
- 1
- 帖子
- 616
- 主题
- 542
- 精华
- 12
- 分享
- 0
- 好友
- 225
TA的每日心情 | 开心 2020-11-14 17:15 |
|---|
签到天数: 74 天 [LV.6]常住居民II
 群组: 2019美赛冲刺课程 群组: 站长地区赛培训 群组: 2019考研数学 桃子老师 群组: 2018教师培训(呼伦贝 群组: 2019考研数学 站长系列 |
1.原始数据存在的几个问题:不一致;重复;含噪声;维度高。( P, m4 `8 h8 {$ a0 A5 W I
0 I) S3 e3 y/ {
2.数据预处理包含数据清洗、数据集成、数据变换和数据归约几种方法。
" q" B; R* Y! w5 z; c. }. S4 E" V; _/ e7 e$ K$ Z' ?
3.数据挖掘中使用的数据的原则
, b% f9 y5 w$ g0 ?# t1 [ U3 h0 ^/ H5 G5 n4 H' \5 A
应该是从原始数据中选取合适的属性作为数据挖掘属性,这个选取过程应参考的原则是:尽可能赋予属性名和属性值明确的含义;统一多数据源的属性值编码;去除惟一属性;去除重复性;去除可忽略字段;合理选择关联字段。; n# d& R: m m
C4 H) n- }: i' m+ R' t+ f
4.处理空缺值的方法:忽略该记录;去掉属性;手工填写空缺值;使用默认值;使用属性平均值;使用同类样本平均值;预测最可能的值。% Q/ i5 Q% u! y$ s
1 [) ]% a8 H! ^$ f" M- g& O3 j ~( V5.噪声数据的处理方法:分箱;聚类;计算机和人工检查结合;回归
. ?& p# J% A7 u- V# }; S( k# V4 d; _6 p1 d% W3 A; Z+ B0 g
6.分箱:分箱方法是一种简单常用的预处理方法,通过考察相邻数据来确定最终值。所谓“分箱”,实际上就是按照属性值划分的子区间,如果一个属性值处于某个子区间范围内,就称把该属性值放进这个子区间所代表的“箱子”内。把待处理的数据(某列属性值)按照一定的规则放进一些箱子中,考察每一个箱子中的数据,采用某种方法分别对各个箱子中的数据进行处理。在采用分箱技术时,需要确定的两个主要问题就是:如何分箱以及如何对每个箱子中的数据进行平滑处理。# T. x$ y# D# j' _/ V
! l8 y3 D) ?5 J; d {
分箱的方法:有4种:等深分箱法、等宽分箱法、最小熵法和用户自定义区间法。! {/ ~- e7 p3 ~( v: ~2 ], @. P
) j# G7 O, t& r. X统一权重,也成等深分箱法,将数据集按记录行数分箱,每箱具有相同的记录数,每箱记录数称为箱子的深度。这是最简单的一种分箱方法。7 Z& g6 g! h9 k7 k! V
9 R/ k. T2 w/ y% z# d( ]! s! X0 c
统一区间,也称等宽分箱法,使数据集在整个属性值的区间上平均分布,即每个箱的区间范围是一个常量,称为箱子宽度。
$ C8 ~, K% I" [- `
9 }. {, l9 i7 p) ?用户自定义区间,用户可以根据需要自定义区间,当用户明确希望观察某些区间范围内的数据分布时,使用这种方法可以方便地帮助用户达到目的。+ F+ m' a+ g" h; l' F
$ I4 V" C5 T' _/ s+ G1 `
例:客户收入属性income排序后的值(人民币元):800 1000 1200 1500 1500 1800 2000 2300 2500 2800 3000 3500 4000 4500 4800 5000,分箱的结果如下。; s( N, m/ j# I) N9 t
, t2 C, S3 b; R5 o* X$ s8 q
统一权重:设定权重(箱子深度)为4,分箱后0 E0 |% k" r2 x2 q& _4 j2 D D
. j1 ^2 b6 a6 s n) p
箱1:800 1000 1200 1500
0 f) M3 ~0 p: G' O7 J! H; K
1 S5 Z. w6 E: J$ M箱2:1500 1800 2000 2300
+ | `5 @7 x# @# A+ U
. e3 J8 V2 `9 E. B$ A5 B1 X8 T箱3:2500 2800 3000 3500
# z# K4 l! L' t( K# v' J! J+ V5 n$ v$ h- D5 f7 E- J6 m
箱4:4000 4500 4800 5000 : i I6 z4 ^$ t) Z$ }
; s9 P! C& f% ]6 I4 X" \8 A
统一区间:设定区间范围(箱子宽度)为1000元人民币,分箱后0 E6 D% v S4 t5 c, G4 W
8 `5 q/ Y. [" Q" }! K) j箱1:800 1000 1200 1500 1500 18000 S. `' Y3 ^1 |4 B0 N4 r# V
R4 X( X H7 r# G/ }6 i1 |, u
箱2:2000 2300 2500 2800 3000
" b# U3 ?" E: S. y% C# O2 X t, n4 C1 Q. A2 d
箱3:3500 4000 4500 y8 ^* Y7 G1 L1 i/ U
! ]8 B5 X& A; K) }' H! c箱4:4800 5000 7 C# L, @( Q1 U7 D9 \4 K0 B( n
2 h2 ]5 R% }6 m4 R, M; X/ }
用户自定义:如将客户收入划分为1000元以下、1000~2000、2000~3000、3000~4000和4000元以上几组,分箱后
8 ~' c! k$ o1 m0 F- x3 r+ n3 o
0 p1 y$ v# K# |$ v" o) V箱1:800
# z- u. n+ U1 K5 l% z' [+ w5 h8 m L2 h9 Z- u/ E, K+ P9 M1 l0 J
箱2:1000 1200 1500 1500 1800 2000 4 e. F2 n3 M k- E$ G7 H/ R
! ~2 d0 A0 X, j5 J: L3 R9 F箱3:2300 2500 2800 3000
7 o+ d+ F5 v+ k( t r/ r. Z3 r- C1 `# j1 V
箱4:3500 4000 & y/ ]. ^$ ^5 }
( f( E0 x/ b5 o1 p' X, \- x( W
箱5:4500 4800 5000 ; [' j0 Q# E* W4 v/ E$ o, A
# Q. }- `; G/ G4 k$ O/ j2 W
7.数据平滑方法:按平均值平滑、按边界值平滑和按中值平滑。
& V- c* a0 g" X2 u; Q+ |7 ]" e) p7 i0 l0 Y( J: V, l
⑴按平均值平滑 1 ~ W) \6 Q& }+ [; n
. h# d' I7 D' t# o! I+ g/ \% _对同一箱值中的数据求平均值,用平均值替代该箱子中的所有数据。
9 g/ V. _. C9 r' f8 q$ v! J/ t
; Q A2 Z1 ?, Q/ b⑵按边界值平滑
8 H! s% ?* [( [& j* _- |6 l+ }# X! g, R, x) D0 A( L
用距离较小的边界值替代箱中每一数据。
% I' z; c+ w0 v& C8 E1 \( R% ^6 m8 V% z+ C0 S
⑶按中值平滑
# k* j \# K6 n/ s! w1 Z
' l! ]; y+ p0 B( q4 g取箱子的中值,用来替代箱子中的所有数据。 1 c2 \0 {; k/ j% A
! I+ `# V2 t2 [$ F1 W8.聚类:将物理的或抽象对象的集合分组为由类似的对象组成的多个类。1 F# ?1 b' P! u7 ]3 k0 E$ y. d- D
' ~4 ?( G+ D& T
找出并清除那些落在簇之外的值(孤立点),这些孤立点被视为噪声。* M6 |0 J) G7 s8 \ h
/ U! a$ `- y2 V; L' N" [# b9.回归;试图发现两个相关的变量之间的变化模式,通过使数据适合一个函数来平滑数据,即通过建立数学模型来预测下一个数值,包括线性回归和非线性回归。 6 {( r3 h* @( Y+ ~
# n1 X& x. Y S3 L: z! R
10.数据集成:将多文件或者多数据库中的异构数据进行合并,然后存放在一个一致的数据存储中。考虑以下几个问题: 1.模式匹配2.数据冗余3.数据值冲突 . f. U! _8 M+ Y/ z" J( |
1 t1 W) B7 p( h- ~ y4 K11. 数据变换:1.平滑2.聚集3.数据概化4.规范化(1)最小-最大规范化(2)零-均值规范化(3)小数定标规范化5.属性构造) ]- U5 B. Y+ y
" d4 j n6 v4 Y! ^. ~
12.数据集成:将多文件或者多数据库中的异构数据进行合并,然后存放在一个一致的数据存储中。考虑以下几个问题: 1.模式匹配2.数据冗余3.数据值冲突 ) t6 x% K0 e, ]
( b) W, z. J& d5 w3 A& b
13.数据归约:目的是为了获得比原始数据小的多的,但不破坏数据完整性的挖掘数据集,该数据集可以得到与原始数据相同的挖掘结果。
* `" S3 ?% F5 L2 q% }: ?4 ^, J; @
7 a+ W/ i: W/ u! E8 \8 z4 U- Q9 N数据归约的方法: 1.数据立方体聚集:把聚集的方法用于数据立方体。2.维归约:检测并删除不相关、弱相关或冗余属性。3.数据压缩:选择正确的编码压缩数据集。4.数值压缩:用较小的数据表示数据,或采用较短的数据单位,或者用数据模型代表数据。5.离散化和概念分层生成:使连续的数据离散化,用确定的有限个区段值代替原始值;概念分层是指用较高层次的概念替换低层次的概念,以此来减少取值个数。
- w5 k7 {1 y& ~1 x% r
% ]5 J1 u8 @- \2 z" w14.数据立方体聚集 :是数据的多维建模和表示,由维和事实组成。
% V6 ]5 I R' M. Q4 I: F5 a. D
4 w; f. e' d w, x维归约:去掉不相关的属性,减少数据挖掘处理的数据量。 / q5 s+ Q! d( \
7 K' p5 F6 C- U
属性子集选择的基本方法包括以下几种: 1.逐步向前选择2.逐步向后删除3.向前选择和向后删除结合4.判定树归纳5.基于统计分析的归约
' r) X0 G8 q n8 `+ T5 a3 V4 [9 ?% V/ a8 p0 T% d, R
数据压缩:方法分为两类:无损压缩和有损压缩- i i8 ^8 e- T6 U& @! u% Y
& h& [. W8 g0 `* a O. E& D数值归约常用的方法: 1.直方图2.聚类3.抽样:不放回简单随机抽样、放回简单随机抽样、聚类抽样和分层抽样4.线性回归5.非线性回归
. A/ M% E# |1 d% S8 [# o- R0 Z2 I0 C( A- v" K7 ]) ~
15.数据变换涉及以下几个方面:1.平滑2.聚集3.数据概化4.规范化(1)最小-最大规范化(2)零-均值规范化(3)小数定标规范化5.属性构造
, j+ s9 w8 u: f' {' E; l' h8 |2 n: U2 @* ?! W# l9 u ~% y j' s
*规范化:(1)最小—最大规范化。原取值区间 [old_min,old_max],规范化后的新的取值区间[new_min,new_max]。
) Y- u) g; z; y$ C7 ]. v, Q) K, f4 Z5 y% m, U0 Y
x’= 其中:x是属性的真实值,x’是规范化后的值。
5 C9 O, E0 d D6 E# l4 C1 F f+ S- Y) Z6 c+ F+ A, Y) U. q5 D3 B: }2 s
例如:“客户背景数据”表中的客户月收入income属性的实际值范围为[12000,98000],要把这个属性值规范到[0,1],对属性值73600应用上述公式:* s9 ?/ [9 n+ |% ^
5 J+ f# H5 s. D5 _* y' }
x’=(1.0-0)+0=0.7166 v. f5 r0 f# m; ^ x5 _
: {4 c% i7 K1 {- Q* f' B/ B: m
根据精度要求保留小数(假设精度要求0.01),最终取值0.72就是属性值73600规范化后的值。
5 Q) U, X8 s8 s; ~2 k8 T4 c4 M, D' w9 W* @# ?0 a
(2)零—均值规范化(z—score规范化),是根据属性值的平均值和标准差进行规范化,即:% C# z$ a& ?) J* k
0 R" I" A! {- x- Ex’= = = 为所有样本属性值的平均值,为样本的标准差。当属性值范围未知的时候,可以使用此方法进行规范化。
: t! u; R: G9 `' V. D G# N# A1 `6 Q0 g
例:假设某属性的平均值和标准差分别为80、25,采用零-均值规范化66为:x’==-0.56: @! f3 i% Z$ ?3 T! [
% X1 m* o' _- d5 t. `(3)小数定标规范化:通过移动属性A的小数点位置进行规范化 。
# } Y; r) n! `" F7 z4 o" }% @- Q; L2 ?' F# o- I E
x’= 为满足式<1的最小整数。: s. k+ ]# D$ J$ Z0 R
. W. X' j0 ?! _ o0 ], X
例:假设某属性规范化前的取值范围为[-120,110],采用小数定标规范化66。由于该属性的最大绝对值为120,则由<1可得出=3,因此,66规范化后为:x’==0.066
! w, k+ j2 g7 j- N————————————————1 k3 _0 m" l' D& G
版权声明:本文为CSDN博主「搬砖老头」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。/ H6 y+ d2 ?: H2 M! t% `
原文链接:https://blog.csdn.net/wang1127248268/article/details/53571956. i/ Q* d+ y/ C& q
5 j3 @/ o; `) k. v+ j
9 ~; Q3 w) \! l6 L, c% q; h" |! t |
zan
|