大数据——海量数据处理的基本方法总结

1047521767

海量数据处理概述

[color=var(--md-editor-text-color-active)]所谓海量数据处理，就是数据量太大，无法在较短时间内迅速解决，无法一次性装入内存。本文在前人的基础上总结一下解决此类问题的办法。那么有什么解决办法呢?
时间复杂度方面，我们可以采用巧妙的算法搭配合适的数据结构，如Bloom filter/Hash/bit-map/堆/数据库或倒排索引/trie树。空间复杂度方面，分而治之/hash映射。

[color=var(--md-editor-text-color-active)]海量数据处理的基本方法总结起来分为以下几种：

• 分而治之/hash映射 + hash统计 + 堆/快速/归并排序；
• 双层桶划分；
• Bloom filter/Bitmap；
• Trie树/数据库/倒排索引；
• 外排序；
• 分布式处理之Hadoop/Mapreduce。