数学建模社区-数学中国

标题: 大数据——海量数据处理的基本方法总结 [打印本页]

作者: 1047521767 时间: 2023-7-5 12:05
标题: 大数据——海量数据处理的基本方法总结
海量数据处理概述

[color=var(--md-editor-text-color-active)]所谓海量数据处理，就是数据量太大，无法在较短时间内迅速解决，无法一次性装入内存。本文在前人的基础上总结一下解决此类问题的办法。那么有什么解决办法呢?
时间复杂度方面，我们可以采用巧妙的算法搭配合适的数据结构，如Bloom filter/Hash/bit-map/堆/数据库或倒排索引/trie树。空间复杂度方面，分而治之/hash映射。

[color=var(--md-editor-text-color-active)]海量数据处理的基本方法总结起来分为以下几种：

分而治之/hash映射 + hash统计 + 堆/快速/归并排序；
双层桶划分；
Bloom filter/Bitmap；
Trie树/数据库/倒排索引；
外排序；
分布式处理之Hadoop/Mapreduce。

海量数据处理概述.doc

58.13 KB, 下载次数: 0, 下载积分: 体力 -2 点

售价: 2 点体力 [记录] [购买]

欢迎光临数学建模社区-数学中国 (http://www.madio.net/)