标题: 网格聚类算法 [打印本页] 作者: 浅夏110 时间: 2018-10-31 11:15 标题: 网格聚类算法 在本文中，主要学习一下STING聚类算法。 / i- d, p# q! z& Z
1 _6 R' f! Y4 H6 r' B# q+ k
（1） STING：统计信息网格 8 {9 ]7 y u q* [3 p" i& X; d: W& C0 e
STING是一种基于网格的多分辨率的聚类技术，它将输入对象的空间区域划分成矩形单元，空间可以用分层和递归方法进行划分。这种多层矩形单元对应不同的分辨率，并且形成了一个层次结构：每个高层单元被划分成低一层的单元。关于每个网格单元的属性的统计信息（如均值，最大值和最小值）被作为统计参数预先计算和存储。对于查询处理和其他数据分析任务，这些统计参数是有效的。 ! |7 H. X+ B4 x" @. A 3 B R0 s+ s1 } STING算法： & E4 F! g" t' N# Q2 | ( h! _; P7 W1 L （1） 针对不同的分辨率，通常有多个级别的矩形单元。 8 X) U- o; O( g, H. l1 s3 f1 ]: U- A |5 S5 ]. d4 E' B& i; [% m F9 Q
（2） 这些单元形成了一个层次结构，高层的每个单元被划分成多个底一层的单元。) B5 J" w! T! [0 F
5 C. h, ^' q$ g0 }# g9 G1 B （3） 关于每个网格单元属性的统计信息（例如平均值，max,min）被预先计算和存储，这些统计信息用于回答查询。（统计信息是进行查询使用的）" b# J% N6 N |( a8 k m
# A8 y4 J; U2 E" x
网格中常用的参数：' ?4 L" ], }1 j& q' S8 ]! N
0 @6 ` u$ r1 | （1） count 网格中对象数目 k9 y/ T: S+ A, b j 8 `2 e' ]5 J7 A* T7 Q! l （2） mean网格中所有值的平均值 0 ?3 N- v4 ^* i, ^9 _( B, j0 W; ?8 [
（3） stdev网格中属性值的标准偏差 2 Z- Q/ E0 g: B. @9 U & e! ]5 d0 z1 H: Q6 _4 {0 M （4） min 网格中属性值的最小值 . X( k7 {8 u* M9 V' V2 F9 g* M. w% [: R3 L) F
（5） max 网格中属性值的最大值5 m' w8 J% r+ p9 I, t( v. E
) ]9 \) J' `- m* x/ H
（6） distribution 网格中属性值符合的分布类型。如正态分布，均匀分布 " E" V2 e0 d* `8 z9 m$ {- ? % X7 N* y& f# x Y& ?# j STING聚类的层次结构: C8 {' u/ W5 J8 @3 j( H
9 u4 C4 C1 L N) o
通过上面两幅图，我们可以清晰的理解，STING的层次结构，上一层与下一层的关系。 ' ]7 P) U) [& L. o 4 g% m3 Q& Z3 v 注意：当数据加载到数据库时。最底层的单元参数直接由数据计算，若分布类型知道，可以用户直接指定。而较高层的单元的分布类型可以基于它对应的低层单元多数的分布类型，用一个阈值过滤过程的合取来计算，若底层分布类型彼此不同，那么高层分布类型为none 6 a1 @9 j# B- |) C) H% N5 {, q) j+ ]5 o7 w( S/ c7 d" n. B
STING查询算法步骤：& G' d# m, G+ g& C5 O" L' s$ F# _
: B& j% \! c$ o) d' [& b0 d1 f
（1） 从一个层次开始 8 l) P! g3 f6 j j# _7 Y 8 i/ }& k& f9 t; _9 Y; `0 h8 \ （2） 对于这一个层次的每个单元格，我们计算查询相关的属性值。$ J* |6 q' S8 A; e1 A' B
1 q! K7 G! X5 k （3） 从计算的属性值以及约束条件下，我们将每一个单元格标记成相关或者不想关。(不相关的单元格不再考虑，下一个较低层的处理就只检查剩余的相关单元) 2 E; }4 g4 t& s& O* I. q' g! w8 Z9 q2 J! F' o" V+ l
（4） 如果这一层是底层，那么转（6），否则转（5） . [: _% Z" M/ G/ k& I ' y# O3 P1 N, b) m! b （5） 我们由层次结构转到下一层，依照步骤2进行 0 ] B4 q; `+ J$ Q4 }: j# m0 A4 Q; w. C4 K) r6 ?
（6） 查询结果得到满足，转到步骤8，否则（7）7 X4 }% _3 P/ }+ X8 U
9 K9 _- j+ ?0 e# P0 W6 `! z7 S% Y
（7） 恢复数据到相关的单元格进一步处理以得到满意的结果，转到步骤（8） 7 a; y( Q4 ?. V" _2 C- A1 ~8 d% `% F& u1 h
（8） 停止) m9 w c+ N, ^' Z! e7 o
6 Q2 y+ g' k2 i5 J4 c0 x) L7 X 到这儿，STING算法应该基本就差不多了，其核心思想就是：根据属性的相关统计信息进行划分网格，而且网格是分层次的，下一层是上一层的继续划分。在一个网格内的数据点即为一个簇。' u, p/ e- w. [5 k- F3 m3 H- a
$ W* S7 Q& }3 I G8 G7 {: p/ s7 U 同时，STING聚类算法有一个性质：如果粒度趋向于0（即朝向非常底层的数据），则聚类结果趋向于DBSCAN聚类结果。即使用计数count和大小信息，使用STING可以近似的识别稠密的簇。 ; w' }% c" Y2 A( ? 4 F: Q' D0 s5 V6 o+ p' l STING算法的优点： . F9 T0 `% }9 O! i1 R1 V- F+ e9 ~7 ]8 b- Z% ~
（1） 基于网格的计算是独立于查询的，因为存储在每个单元的统计信息提供了单元中数据汇总信息，不依赖于查询。 6 ?7 q8 H; R9 K, t( X& x/ ~# X, z3 U& h& Q. [$ E0 e
（2） 网格结构有利于增量更新和并行处理。 : A+ F c0 t! d$ M. c# N . A; |: f. b2 e- {: `1 Y （3） 效率高。STING扫描数据库一次开计算单元的统计信息，因此产生聚类的时间复杂度为O(n)，在层次结构建立之后，查询处理时间为）O(g),其中g为最底层网格单元的数目，通常远远小于n。 ( ?" I6 r3 A1 }: O% M; Q2 W6 |4 D( L " F, j+ x1 U6 Y$ k 缺点： 9 q5 {5 }- N+ u/ N% r3 A- Y' E! D) y' f* _1 R
（1） 由于STING采用了一种多分辨率的方法来进行聚类分析，因此STING的聚类质量取决于网格结构的最底层的粒度。如果最底层的粒度很细，则处理的代价会显著增加。然而如果粒度太粗，聚类质量难以得到保证。 " W: U5 L8 f# ]! I& }2 K$ S% D0 f! U2 R; q
（2） STING在构建一个父亲单元时没有考虑到子女单元和其他相邻单元之间的联系。所有的簇边界不是水平的，就是竖直的，没有斜的分界线。降低了聚类质量。2 \: B- o, q% V! M/ @5 v
: y4 w. q/ ]- K4 `% O e& e) V, e 7 o# [, k1 Y- w0 ]/ t2 p8 b/ z