数学建模社区-数学中国

标题: 数据挖掘中的数据预处理方法总结 [打印本页]
作者: 浅夏110    时间: 2020-5-19 09:40
标题: 数据挖掘中的数据预处理方法总结
1.原始数据存在的几个问题：不一致；重复；含噪声；维度高。) G- l6 |5 a+ a
. g; X7 Q8 P% K5 S, J$ s% S
2.数据预处理包含数据清洗、数据集成、数据变换和数据归约几种方法。
9 q0 ~. ?( j$ o; G9 p; N
) N6 P" I. }) a( g2 \3.数据挖掘中使用的数据的原则
/ t4 p# _6 j! F& T5 u3 A7 @( {# ?  @. P( O' v
应该是从原始数据中选取合适的属性作为数据挖掘属性，这个选取过程应参考的原则是：尽可能赋予属性名和属性值明确的含义；统一多数据源的属性值编码；去除惟一属性；去除重复性；去除可忽略字段；合理选择关联字段。
3 c: p) T) p& L- w5 R4 i' K% e8 s% I( P" U$ H
4.处理空缺值的方法：忽略该记录；去掉属性；手工填写空缺值；使用默认值；使用属性平均值；使用同类样本平均值；预测最可能的值。* L5 D9 O8 E! n# M6 A1 x, e

; I2 Q+ ~9 |4 b% r/ T! I7 b4 q6 e5.噪声数据的处理方法：分箱；聚类；计算机和人工检查结合；回归" D* s& R3 C  g- I4 u

4 c' d3 V) f% R. z6.分箱：分箱方法是一种简单常用的预处理方法，通过考察相邻数据来确定最终值。所谓“分箱”，实际上就是按照属性值划分的子区间，如果一个属性值处于某个子区间范围内，就称把该属性值放进这个子区间所代表的“箱子”内。把待处理的数据（某列属性值）按照一定的规则放进一些箱子中，考察每一个箱子中的数据，采用某种方法分别对各个箱子中的数据进行处理。在采用分箱技术时，需要确定的两个主要问题就是：如何分箱以及如何对每个箱子中的数据进行平滑处理。$ o: x2 M6 v$ m) {; }
6 m8 y* H7 F8 _8 F# x2 n+ O$ Z/ ?
分箱的方法：有4种：等深分箱法、等宽分箱法、最小熵法和用户自定义区间法。8 K& q+ o0 ~$ _8 P* N

8 w- l3 K. U( P% R统一权重，也成等深分箱法，将数据集按记录行数分箱，每箱具有相同的记录数，每箱记录数称为箱子的深度。这是最简单的一种分箱方法。
& E- J8 q5 i# E# X6 B! Q1 V) k4 N, n; V
统一区间，也称等宽分箱法，使数据集在整个属性值的区间上平均分布，即每个箱的区间范围是一个常量，称为箱子宽度。
7 H* T! Y4 o) k8 ^* L% J5 W% {- m9 d% Q) R' _  B2 [
用户自定义区间，用户可以根据需要自定义区间，当用户明确希望观察某些区间范围内的数据分布时，使用这种方法可以方便地帮助用户达到目的。
; d& v! _4 _2 j; U, m' k6 f/ n
" W3 U2 g, k/ \) x2 D& w- G: p例：客户收入属性income排序后的值（人民币元）：800 1000 1200 1500  1500 1800 2000 2300 2500 2800 3000 3500 4000 4500 4800 5000，分箱的结果如下。/ y4 o* V+ i$ P" {8 T9 }2 Z% P8 O" }
& n+ z) C  w! T, U: Z: ?
统一权重：设定权重（箱子深度）为4，分箱后3 m0 E) Z9 X, A' G

/ A9 y3 Z- X5 M' v' @, b箱1：800 1000 1200 15006 }0 U, l5 N0 @7 F
3 w% v+ ~' Q- S# O2 {1 v8 d+ N
箱2：1500 1800 2000 2300 3 \) D1 ]& h  k5 G0 A0 @4 }. B; R

. ?; A9 k: U& H+ `" r7 m+ ~. Q箱3：2500 2800 3000 3500
2 C  o1 ^/ [! h1 ^: H8 M
; \  H; p$ u; ^3 J! s箱4：4000 4500 4800 5000   
7 s* J& U- ]9 A2 p
0 l0 |  U( U! S. c统一区间：设定区间范围（箱子宽度）为1000元人民币，分箱后
( s7 H" v' ~' m/ f& D, |/ R* ?3 F4 {* I  a
箱1：800 1000 1200 1500 1500 1800$ _3 H( ^" @" u- V

" i, O) F! v1 Z* u1 |2 X( I箱2：2000 2300 2500 2800 3000
6 a' p  A* }6 W% M$ o
' U# {  p- R: C# o; o箱3：3500 4000 4500% M& w6 `) z6 y2 j; S  z8 b/ a
0 n0 v7 k1 C4 u! ~7 I
箱4：4800 5000
' I/ B; y; W; g. x  E/ D& r4 H/ T$ p9 ?! c  N$ w7 Y' e( [
用户自定义：如将客户收入划分为1000元以下、1000~2000、2000~3000、3000~4000和4000元以上几组，分箱后
5 F' S( H" X0 C. C& C# w
& J1 c8 j) |) _" N: x箱1：800
( P% G( ?1 E; ?9 x- @$ c4 v8 n" `' `1 j
箱2：1000 1200 1500 1500 1800 2000 ! h/ \, r4 @3 q- T, q( D% H2 A. R0 v2 v
# m0 K5 ]' [7 [! F! Z; p3 t
箱3：2300 2500 2800 3000  2 r: T* L0 a; Q" G! i6 E

7 H# J0 i  s3 i' E箱4：3500 4000 6 ^+ {" V* o# M; G9 I4 X# J# z

5 X" j  J: D" z/ A' F% _箱5：4500 4800 5000 7 X- V6 G3 Q7 E+ b/ d7 j

5 M% B6 P  B- L0 ]4 O0 |, O2 w7.数据平滑方法：按平均值平滑、按边界值平滑和按中值平滑。+ p' u0 `  r) a9 @# {
# N- ?0 D0 O% s
⑴按平均值平滑 . F8 [% ^, N/ N, k/ B
3 G/ B  I% |# f, }4 r
对同一箱值中的数据求平均值，用平均值替代该箱子中的所有数据。 6 [4 p1 \% d. w( V8 W6 l& c
- h- w8 Z% {9 S
⑵按边界值平滑
( C! v+ d* L+ ]5 J, j) ^- d6 `% c8 W( W3 ^: z
用距离较小的边界值替代箱中每一数据。 5 v0 p/ E& ]- [% u" V/ T

4 O0 F) D/ w) _0 L* s/ [3 X( i' ?⑶按中值平滑
5 Q+ e$ W8 ]" [7 H
: {2 }) {0 F; W" [取箱子的中值，用来替代箱子中的所有数据。
6 X( y' z; U( ^$ t& \6 |& B/ E% y- f) T' g
8.聚类：将物理的或抽象对象的集合分组为由类似的对象组成的多个类。! M! G9 m8 p8 s* R- p
* y4 {2 }& \* F& ^
找出并清除那些落在簇之外的值（孤立点），这些孤立点被视为噪声。
6 \6 M0 X2 p5 T0 I$ S/ _
5 H# R4 _3 ~( c  v  C0 ^/ A9.回归；试图发现两个相关的变量之间的变化模式，通过使数据适合一个函数来平滑数据，即通过建立数学模型来预测下一个数值，包括线性回归和非线性回归。   
, w1 @# K5 q: c3 d. w' `; [/ p/ Q6 K) u: _
10.数据集成：将多文件或者多数据库中的异构数据进行合并，然后存放在一个一致的数据存储中。考虑以下几个问题： 1.模式匹配2.数据冗余3.数据值冲突 " E) ~  Q# y5 Y5 e

8 v5 }# _! @. G) f3 S! Z5 r: Z11. 数据变换：1.平滑2.聚集3.数据概化4.规范化（1）最小-最大规范化（2）零-均值规范化（3）小数定标规范化5.属性构造
8 a& r& q7 S& c# Q3 U# S" I2 U/ o6 n- [- F
12.数据集成：将多文件或者多数据库中的异构数据进行合并，然后存放在一个一致的数据存储中。考虑以下几个问题： 1.模式匹配2.数据冗余3.数据值冲突 : |% A+ ^2 j, P" p6 r

+ R% T: n  F# R0 f1 `13.数据归约：目的是为了获得比原始数据小的多的，但不破坏数据完整性的挖掘数据集，该数据集可以得到与原始数据相同的挖掘结果。
, Z* F  l; y, [
' M. `5 O0 A9 ?3 x6 c: S数据归约的方法： 1.数据立方体聚集：把聚集的方法用于数据立方体。2.维归约：检测并删除不相关、弱相关或冗余属性。3.数据压缩：选择正确的编码压缩数据集。4.数值压缩：用较小的数据表示数据，或采用较短的数据单位，或者用数据模型代表数据。5.离散化和概念分层生成：使连续的数据离散化，用确定的有限个区段值代替原始值；概念分层是指用较高层次的概念替换低层次的概念，以此来减少取值个数。
. S' h2 z4 ~. D- @6 ?2 [0 h$ H
0 s$ G! O# h. p2 D' j14.数据立方体聚集 ：是数据的多维建模和表示，由维和事实组成。 ( c* R( X# Y6 d7 |; _) K3 f2 g8 R
6 W$ \4 P) U# `4 f3 |( W
维归约：去掉不相关的属性，减少数据挖掘处理的数据量。 ( F5 E9 |6 `) g5 N: k/ g7 a
2 n7 z* Y" F1 W. q/ n4 j
属性子集选择的基本方法包括以下几种： 1.逐步向前选择2.逐步向后删除3.向前选择和向后删除结合4.判定树归纳5.基于统计分析的归约   
' ^- v+ X# r( ?( v7 \5 i. p3 N
" z' K: j" b$ T# `1 K3 ^7 q: e数据压缩：方法分为两类：无损压缩和有损压缩
3 Z: l) c' X0 }+ T! K
- W* d4 P1 E6 u% H数值归约常用的方法: 1.直方图2.聚类3.抽样：不放回简单随机抽样、放回简单随机抽样、聚类抽样和分层抽样4.线性回归5.非线性回归     5 o8 L  G8 k! |% m/ h7 k  F

- n0 n; j: R1 k/ {" c+ c* N8 u3 ?15.数据变换涉及以下几个方面：1.平滑2.聚集3.数据概化4.规范化（1）最小-最大规范化（2）零-均值规范化（3）小数定标规范化5.属性构造' y6 g8 Q6 B0 T) J1 c

( Q! E, c2 f4 G* m, i- B+ i*规范化：(1)最小—最大规范化。原取值区间 [old_min，old_max]，规范化后的新的取值区间[new_min，new_max]。8 r- L6 f: L6 R
# K: v& s; o2 B4 W: G
x’=  其中：x是属性的真实值，x’是规范化后的值。
# N" E) ?! H3 ~# N/ c8 q4 Y$ f  L
3 Z4 S, c- Z8 g( |例如：“客户背景数据”表中的客户月收入income属性的实际值范围为[12000，98000]，要把这个属性值规范到[0，1]，对属性值73600应用上述公式：3 X, `1 g: \1 z: n$ d, D

  f8 ^) L( d. O- Q5 u& }9 W& i6 Vx’=(1.0-0)+0=0.716+ G7 q6 C7 |9 h/ t( A

- e' D5 _3 @0 i$ S4 o根据精度要求保留小数（假设精度要求0.01），最终取值0.72就是属性值73600规范化后的值。
3 h+ ^. J( C& x, E' O# ]8 _
% B. A5 ?" k; Y/ r  ~* L$ v (2)零—均值规范化（z—score规范化），是根据属性值的平均值和标准差进行规范化，即：
/ m0 g1 {2 W$ ^7 L" H: e- u9 Y1 }9 U+ @' K, T$ x  r
x’=   =  =    为所有样本属性值的平均值，为样本的标准差。当属性值范围未知的时候，可以使用此方法进行规范化。& ?! M% q8 A1 [: x$ n3 O
- _' x" S0 |' q$ E2 s+ n
    例：假设某属性的平均值和标准差分别为80、25，采用零－均值规范化66为：x’==-0.565 e6 d  q9 \' ?; k3 [! ^0 O

/ ~9 W: H6 q! B$ Z) y7 M(3)小数定标规范化：通过移动属性A的小数点位置进行规范化 。' P% m8 y+ z& [7 r$ H5 T0 K

( ]( e5 G8 ]7 ?+ ix’= 为满足式<1的最小整数。
- }, e+ X( s$ o; _- A$ g' G4 d5 |0 K5 m! H+ i% [9 B
例：假设某属性规范化前的取值范围为[-120，110]，采用小数定标规范化66。由于该属性的最大绝对值为120，则由<1可得出=3，因此，66规范化后为：x’==0.066: H* v: X$ u  G/ p4 W: r
————————————————+ c- ]6 X2 ]; w/ m! L
版权声明：本文为CSDN博主「搬砖老头」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。7 [# ], u5 V* O* k# B
原文链接：https://blog.csdn.net/wang1127248268/article/details/53571956* X0 N8 p( }7 I5 P$ v& b. L
+ r# d0 [1 a- T3 z2 P

0 w. W( k! p' t6 @/ T7 [7 ?  S
作者: huangyanzuo    时间: 2020-5-19 12:06
棒！棒！棒！棒！棒！棒！棒！棒！
2 o: \+ Y/ I- D' S: y
作者: 德古拉    时间: 2020-5-20 08:04
good content but bad edition~2 z: n2 B' w9 ^. [. f, X
作者: 浅夏110    时间: 2020-5-21 11:36
huangyanzuo 发表于 2020-5-19 12:06
( r6 L7 B9 V: T6 G- J棒！棒！棒！棒！棒！棒！棒！棒！
3 P# n3 h% L' }* N7 B) \$ }
9 Y+ `' t" j, ^
作者: 浅夏110    时间: 2020-5-21 11:36
浅夏110 发表于 2020-5-21 11:36

4 h/ O# a3 X0 @8 j* j- N* b* S' B5 N1 V+ L




欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5