向量分组聚集计算技术研究

杨利霞

向量分组聚集计算技术研究

8 s3 Y, }# N6 [. l
& A) O% _9 n8 x8 I; c, y5 v8 s/ g7 q
分组聚集计算是 OLAP 重要的操作符之一,分组聚集操作是一种数据密集型负载.在内存数据库和
3 V! K- u2 P5 D$ ~GPU 数据库应用场景下不仅需要研究其性能优化技术,还需要研究如何优化分配分组聚集计算执行场地以最
/ m; i" Y. [9 Y5 v- T0 _) \8 o: L小化 CPU 与 GPU 之间的数据传输代价.针对异构计算平台的硬件特征提出了向量聚集计算技术,将位于传统
/ h! j+ N$ g7 ^流水线末端的分组聚集计算按照“早分组,晚聚集”策略进行分解与下推,实现将数据密集型的分组聚集计算从
流水线中分离,将操作与处理器计算特性优化匹配,实现异构计算平台上最优的负载分配.通过将传统基于哈希
. m' m0 p2 v! [# I, G. n分组的聚集计算转换为向量分组聚集计算,显著提升了分组聚集计算性能.实验结果表明,向量分组聚集技术相
对于具有代表性的高性能内存数据库 Hyper、GPU 数据库 MapD 最大达到 5-8 倍的性能提升.向量聚集计算不
1 {7 D6 N+ b/ s" g: I+ A5 W7 u6 K仅提高了 OLAP 聚集计算性能,而且实现了将数据密集型负载从查询计划中分离的目标,使异构计算平台能够
  w4 F5 t2 Z! R1 @* ]6 X1 @  G" W根据处理器的硬件特性优化配置计算资源,提高异构计算平台 OLAP 的整体性能

3 ~% [9 N3 B4 O, A0 k  M
0 I; I( M( h# |: q6 T, n


9 Z; u" p" H8 U; k+ \6 r! {( k