基于数据相关性的异常检测算法研究

武帅

基于数据相关性的异常检测算法研究
2 _2 ], E  u; ~


随着互联网的普及和信息技术的发展，异常检测已经逐渐成为数据挖掘领域
! ~3 `, P4 c! k% v4 |1 b5 Q的研究热点。异常检测旨在检测出观测数据中的非正常值，被广泛应用于反信用卡
% A6 l) G. z- H3 f8 M5 m5 T. o欺诈、网络入侵检测、医疗分析以及气象预报等领域。在这些领域中，异常数据的
, c9 R% ^( e# D2 D" w8 ^产生，相对于大量存在的正常数据，可以被视作一种随机现象，它通常不符合正常
数据的数据模式，也不具备正例样本所具有的数据相关性。数据的相关性包含数据
内部样本属性之间的相关性以及数据样本间的相关性，即结构相关性。研究如何有
$ x0 g, H$ G6 o效利用正常数据和异常数据在数据相关性上的差异性有助于提高异常检测性能。
为此，本文围绕数据属性相关性和数据结构相关性进行了深入细致的研究，并
% X9 D5 o9 Y: y9 J6 b! q取得了一定的研究成果。本文的主要研究成果包括：
5 l4 ]- {, S* n5 y( K1 m/ l(11为解决多视角数据以及高维数据的异常检测问题，本文从数据属性相关性角度
6 @, ]* ~7 T6 ]8 `4 u- t4 _出发，提出了一种基于随机相关编码的异常检测算法。该算法将高维数据随机
. f; A) R! U2 X$ N+ m9 I划分为多视角数据，并通过随机典型相关编码提取多视角数据集中不同视角和
" P1 @2 g" Z: Z/ v) u属性间的相关性构建RCCE特征空间。在RCCE特征空间基础上利用基于
. E% N* K* n1 ~. I7 ]4 O1 {$ m$ YRayleigh分布的判决模型对正常数据和异常数据属性相关性的差异进行统计分
; p1 m0 z; Y' d* r+ H9 l析以实现对测试样本的集成判决；
! p) B- p# b7 C% I) D: A(2)在异常检测中，正常数据通常具有异常数据所不具备的某种数据结构相关性，
2 K4 e1 N: |, @7 _即数据的内蕴结构。为此，本文提出了一种新颖的基于标签传递的异常检测算
, x! x' {4 L2 D5 I法。该算法通过图模型刻画正常数据所具有的内蕴结构，并通过多重标签传递
来构建未标记正例样本与待测试样本标签置信度的差异。最后，基于正例样本
的标签置信度的统计特性分析，实现对测试样本的异常性判决；
  b( W' l' y  T* ~! p(3)针对现有基于聚类的异常检测算法的局限性，本文利用超图的优势，提出了一
种基于超图聚类的异常检测算法。该算法首先通过超图聚类实现对数据结构的
描述，然后对得到的聚类结果利用基于关联度的判决模型对局部结构相关性进
+ W# J8 M9 E' L  y, X" q' B行分析，并将数据结构相关}生上的差异转换为关联度的差异，最后通过对关联
2 w/ ^9 w/ b/ }1 N4 r度差异的统计分析实现对测试样本的异常判决。
$ w3 q) c: P6 [$ p

  |! j) i* Y* M% _1 [8 P

9 o, \( ?4 I3 _' W+ E4 q
( u6 s2 w" b# `! y2 V0 M- [0 S