一篇文章告诉你大数据的前世今生

wangzheng3056

由于云计算所代表的美好网络应用模式，它被Google提出来以后便不断走热。近几年，云计算在IT界的流行程度超乎想象，大家各取所需地不断创造出各种形式的云概念，一时间凡是与IT有点联系的公司几乎都扯上了云。在云尚未聚雨带来甘甜之时，大数据的概念也正在被热炒起来。数据是公司经营决策的重要参考早已是人们的共识，那为什么大数据会突然聚焦了如此多的目光？大数据和云计算又是什么样的关系？

火红的大数据

2011年5月，麦肯锡全球研究院发布了名为《大数据：创新、竞争和生产力的下一个前沿》的研究报告，报告中指出大数据将成为企业的核心资产，对大数据的分析将成为竞争的关键，并会引发新一轮生产力的增长与创新，对海量数据的有效利用将成为企业在竞争中取胜的最有利武器。麦肯锡还预测通过对大数据的合理使用可以使零售业的经营利润提高60%以上。

麦肯锡的报告发出后，大数据的概念迅速得到了IT界的热捧。事实上，全球互联网巨头早就意识到了大数据下隐藏的金矿，纷纷针对大数据领域进行布局。例如亚马逊一直非常强调数据驱动的管理思想，其早在2009年就推出了亚马逊弹性MapReduce（Amazon Elastic MapReduce），这是一种编程模型，用于大规模数据集（大于1TB）的并行运算。据公开资料显示，自2009年开始互联网巨头针对大数据领域的收购兼并至少有13起，涉及的企业包括EMC、IBM、Oracle和HP。其中最为活跃的当属EMC，先后收购了7家数据领域的创新企业。此外，2011年EMC还宣布在原EMC中国实验室和EMC首席技术官办公室技术创投组的基础上，组建EMC中国研究院。EMC中国研究院下设三个实验室：大数据实验室，云基础构建实验室，云平台与应用实验室。

在美国，对大数据的关注很快上升到了国家竞争的战略层面。今年3月29日，奥巴马政府发布了《大数据研究与发展计划倡议》，宣布启动对大数据的研发计划，6个联邦部门和机构将新投入超过2亿美金推动大数据提取、存储、分析、发现等领域技术与工具的发展。同时奥巴马政府号召面临挑战的行业、科研院所与非盈利机构和政府携手，共同迎接大数据所创造的机会。

大数据是个噱头吗？

其实数据的重要性早已是一个无需多加证明的命题，许多领域都有使用数据提升生产力的经典案例。那么为何今日大数据突然走红？这会是又一个噱头吗？

通常情况下我们在数据分析中运用的大多是以表格形式存储于关系数据库中的结构化数据，主要涉及的也仅仅是一些企业的经营信息。事实上，由于社交网络、物联网、移动互联网等行业的不断发展，产生了大量的半结构化数据和非结构化数据。我们在网络上的任何一次登陆、点击、评论和转发等都可以被完整的记录和保存了下来，这构成了我们网络化的行为路径。这些数据里面包含了我们的消费行为、消费心理、消费关联等太多对企业决策有价值的信息，而这些数据源尚没有被大多数企业采用。Forrester估计，在一般情况下企业仅仅使用了他们所能获得数据中的不到5%。考虑到大多数尚没有被采集到的大数据，实际应用比例会更低。

毫无疑问，企业在数据分析的过程中，采用的数据越全面，分析的结果越接近于真实。大数据受到热捧的原因在于大家看到了企业能够从这些海量的数据中获取某些洞见，从而更大程度的发挥企业现有业务的能量。数据资产可以作为企业业务的润滑剂，对数据资产的盘活是未来提升企业竞争力的关键。

大数据的威力

网上一篇疯传的帖子《互联网的一天》中指出“每天互联网上要发出2940亿封邮件，200万篇博客，1288个新应用可供下载，数据流量可以刻1.68亿张DVD光盘”。这使我们对互联网上产生的数据量之大有了直观的认识。IDC在其发布的报告中也指出，2011年产生了1.8ZB（也就是1.8万亿GB）的大数据，这相当于每位美国人每分钟写3条Tweet，而且还是不停地写2.6976万年，未来十年全球大数据将增加50倍，管理数据仓库的服务器的数量也将相应增加10倍以满足需求。

随着人们对大数据的重视以及数据量的不断增多，动辄以PB或者EB计量的大数据，将远远超出传统数据库软件工具采集、存储以及组织和分析的能力，这将给企业的存储架构以及数据中心的基础设施带来巨大的挑战和改变，由此也会带来云计算、数据仓库、数据挖掘等技术和应用的提升或者根本性改变。

大数据的出现虽然带来了很多挑战，但是其所能带来的商业价值也无可估量。IDC在其关于大数据的报告中，阐述了利用大数据的商业价值：领军企业与其他企业之间最大的显著性差别在于新数据类型的引入。那些没有引入新的分析技术和新的数据类型的企业，不太可能成为其行业的领军者。

源于对大数据的重视和对消费行为等非结构化数据的分析，沃尔玛“啤酒与尿布“的故事早就成为了人们传颂的经典商业案例。阿里巴巴建立在对用户行为分析的基础上，准确的预言了2008年的金融危机，并采取措施帮助中小制造商准备过冬的粮食，这为其赢得了不少声誉。美国国家海洋和大气管理局（NOAA）每年的IT预算高达10亿美元，主要用于大数据中心的建设。2011年3月11日，日本大地震发生后仅9分钟，NOAA就发布了详细的海啸预警。

大数据对于企业价值的核心在于从海量数据中获取的某些洞见，从而使其更加了解消费者的需求，贴近消费者，高效的分析信息并做出预判，从而在竞争中赢得先机。

在中国，目前大数据在很大程度还仅是一个被金融机构热炒的概念。但是预期在不久的将来大数据必然会被互联网公司、金融企业、电信企业、零售企业等各行各业所重视和推动，最终提升到国家竞争的战略层面，掀起一股大数据浪潮，并逐渐形成以数据资产为核心的新型竞争业态。

大数据与云计算

大数据的概念并不仅仅局限于数据分析技术。任何数据都会形成产生、存储、组织、分析、消耗等一个完整的生命流程。伴随着大数据的不断产生，无论是数据的收集、存储、组织、分析、检索、共享等都存在不同的商业需求，也给现有计算机和互联网技术带来了巨大的挑战，需要进行不同程度和深度的技术创新。

在大数据之前，云计算已经被吹捧了好几年。尽管云计算的安全性、可用性以及成本等方面仍存在诸多的疑虑，但是各大互联网巨头纷纷加快了对这一领域的跑马圈地。本质上来说，云计算并不新鲜，它是融合诸如网格计算、分布式计算、并行计算、虚拟化等传统计算机和网络技术发展起来的产物，通过将计算任务分布在大量的分布式计算机上，形成类网状的服务器集群。云计算的核心价值在于具有很强的弹性，可以实现根据任务自由的分配资源，用户按照需求访问存储空间和服务器集群，从而大大地提高了计算能力，并降低了用户对客户端的要求。

从表面上看，大数据和云计算是两个完全不同的概念，但事实上二者存在很多的交集，相互依赖。大数据的指数级增长使得数据的存储、管理以及分析具有很高的复杂性，因此大数据对云环境有着很高的依赖，云计算不仅大大提高了企业处理大数据的计算能力，而且不需要投入和管理过多的硬件设备，按照需要进行付费，有效地优化现有的资源。从这一层意义上来说，云计算为大数据提供了保管的场所和畅通的访问渠道。大数据作为企业的核心资产，对其进行有效的盘活，发掘出其在商业决策中的巨大价值是云计算的内在灵魂和必然的升级方向。

近几年云计算作为一个时髦的名词，商界、学术界甚至政府界都拼命的在各自的产品、技术、报告和文件中与之关联。一时间，云存储、云手机、云电脑等概念甚嚣尘上，但始终有种云里雾里的感觉。大数据的出现，为云计算提供了释放能量的空间，也指明了云计算真正有价值的方向。云计算和大数据作为一体两翼，将会是衡量企业未来技术能力的最重要依据。如果二者能够协同发挥能量，将会给企业带来精准分析、精准打击，形成企业在未来商战中的核心武器。大数据是宝藏，云计算是开矿的利器。没有大数据的云计算，定是英雄无用武之地；没有云计算的大数据，终会是镜中花、水中月。

亚马逊从创立之初就非常强调底层的技术实力、数据运营与在线零售的充分嫁接，其很多业务都是由数据驱动的。在大数据领域，亚马逊也非常具有先知之名。上面提到，亚马逊早在2009年就推出了大规模数据集并行计算的技术—亚马逊弹性MapReduce。现在，这项技术运行在亚马逊的弹性计算云（Amazon EC2）和亚马逊简单存储服务（Amazon S3）上，真正实现了云与大数据的结合，凸显了云计算的价值。部署在云端的弹性MapReduce可以根据需求实时的按需配置和访问服务器集群，实现对大量和密集型数据任务的处理，比如日志文件分析、数据挖掘、机器学习、科学模拟等。毫无疑问，这种云与大数据的结合在亚马逊销售扩张和成本控制方面发挥着巨大的能量，也是亚马逊帝国得以塑造的关键驱动。

大数据浪潮

木桶理论指出，企业要保持均衡发展，不能有明显的短板，这是成就一家优秀企业的必要前提。但是从优秀到卓越要求企业在保持均衡的前提下具有无往而不胜的利器。虽然目前大多数企业对结构化和标准化的数据处理能力尚十分有限，但是站在企业发展的战略高度，未来企业之间的竞争必将上升到数据层面，巨头之间的对决尤为如此。拥有更多的数据，具备更强的数据分析能力，并能将数据分析结果应用到经营中的企业将会具备更大和更长远的价值。

大数据概念的提出给企业的数据采集、存储、整理以及分析都带来了很多的启示，也给云计算的发展提供了可参考的方向。大数据与云计算好比一体两翼，如果二者能形成合力，必将成为企业在商战中的尖刀，敏锐的捕捉信息，直刺要害。

吴军先生在《浪潮之巅》一书中写道：“近一百多年来，总有一些公司很幸运地、有意识或无意识地站在技术革命的浪尖之上。一旦处在了那个位置，即使不做任何事，也可以随着波浪顺顺当当地向前漂十年，甚至更长的时间。“

大数据的浪潮已经到来，唯一的疑问是这次你是处在浪潮的中心，还是窗外看风景的人。

via：稻穗儿

刘氏金枝陈

体力积分体力积分体力积分体力基恩