大数据：切忌一哄而上 科学规划很重要

迷途

　　“通过大数据的挖掘，从资料完整度、交友真诚度及账号安全度评定用户‘靠谱度’。”一家著名婚恋介绍网站最近打出广告，声称可用“大数据”技术打击相亲骗子。

　　如今，“大数据”是一个时髦的词汇，很多商家纷纷推出“大数据”服务。全世界的大数据技术研发机构都吸引了众多风投和眼球。

　　大数据让人眼前一亮，也让人两眼一黑。9月，著名信息技术分析公司Gartner发布《2013年大数据普及程度背后的炒作》报告，指出2013年30%的企业已开始大数据工作，而另外34%的企业有计划在两年内开始。但这些企业大多告诉调查者，不知道自己在做什么，也不知道为什么要做大数据工作。

　　根据这一报告，半数以上企业不知道如何从数据中获取价值；三分之一的企业缺乏大数据处理能力；甚至还有超过五分之一的公司不知大数据究竟为何物。

　　如果连嗅觉灵敏的企业家们都不真正理解大数据，其他人就更是难窥其全貌。大数据时代还在雏形，它会变成什么样子没人能说准。

　　 起源于科学界的商业热词

　　尽管商界对大数据带来的商机津津乐道，但一开始讨论大数据时代的是科学家。“生命与医疗、粒子物理、天气预报、基因学、地震预报等已经是数据密集型应用了。”清华大学自动化系教授肖田元说，“典型的例子是美国气象预报局年数据量达30PB（1PB=100万GB），每日观察资料超过35亿份。DNA序列分析使用网络大数据分析工具进行亿万次DNA短链分析，制造基于DNA的分子物质。科学家还推出大尺度数据管理架构与可视化方法，让解码人类基因组这种原先花费10年的工作可以在一周内完成。”

　　上海大学教授费敏锐介绍道：“像华大基因，分析的数据量有几百PB。他们在全世界找到了25种栽培稻和24种野生稻，正因为有大数据分析能力，他们扫描了这些水稻的全基因图，找到了162个决定水稻产量的基因。”

　　大型强子对撞机（LHC）的例子更是常被提及，LHC每秒钟生成1PB的数据，要用4.5万个磁带机做存档，是目前世界上最大的数据生产者。

　　在此背景下，2008年9月，《自然》杂志推出大数据专刊，探讨科研形态变化；《科学》杂志2011年也推出大数据专刊，将大数据深度分析看成未来研究的突破点。

　　“真正开始讨论大数据，大家都公认是《自然》杂志2008年的专辑所带来的。”电子科学研究院研究员王积鹏说，“计量文献来看，讨论大数据的论文2011年发生井喷。这几年大家都拿大数据说话，但是主要在于应用，而不是在于理论研究。”

　　科学家们当时的忧虑是大数据难以处理，肖田元说：“计算机已经超过了千万亿次级，‘天河二号’是2000万亿次，未来10年可能达到亿亿次。但是软件发展很慢。美国也是这样，认为高性能计算的算法开发滞后。我们国家高性能计算机为什么利用率不高，原因就在这里。”

　　典型的数据管理困境，如国内一位信息技术工作者所说：“我做过某卫星的信息资源管理，卫星每天产生上百GB的数据量。处理完之后，文件都存在相应的磁盘、磁带等，通过几个系统呈现，一年下来数据量相当大，但是并没有产生大数据的特性。”

　　工业界也提出了类似问题，肖田元举例说：“有个著名的发动机公司提出设想，把它的航空发动机数据实时传到总部，结合过去的数据，实时检测和预报故障。数据量非常大，现在要同时检测、计算和预报，很难做到。”这一困难，肖田元概括为“科研智能如何赶上感知能力”。

　　在科研界关于大数据挑战的讨论之后，互联网商业看到了大数据中的“金矿”。这也是被如今大家所熟悉的大数据议题。最典型的例子如宏源证券研究所副所长易欢欢介绍：“阿里巴巴，最早从B2B到B2C，聚集了千万级的中小微企业，形成了5.4亿注册用户。这个公司牛在哪？这些数据背后的因素包括什么？销售数据、产品数据、应收账款、存货、资金流向、物业信息等一系列综合信息，而且是实时的，远比银行报表准确得多。它有你的消费偏好、家庭地址、还款卡号等一系列信息，这才叫大数据。”

　　IT业研究公司M&M发布的一份最新报告指出，全球大数据市场将在未来5年内迎来高达26%的年复合增长率——即从今年的148.7亿美元增长到2018年的463.4亿美元。膨胀速度如此快，可见市场对大数据概念响应的热烈。

　　不同行业从不同角度发现了数据爆炸的挑战和机会。最终，大数据频频见诸媒体，成为达沃斯等国际峰会上的热词，但就如前述报告所显示的，企业家对这一概念并无把握。

　　 数据公开让美国占得先机

　　大数据商机显现后，2012年3月，奥巴马政府发布《大数据研究与发展倡议》，同时组建“大数据高级指导小组”，标志着美国把大数据提高到国家战略层面。

　　国防大学教授胡晓峰说：“我认为奥巴马试图通过大数据发展计划，再次重复信息高速公路计划带来的互联网霸权。美国人已经把目光瞄准到大数据的未来领域，我觉得是为了创造未来的大数据霸权奠定基础。”

　　“美国政府提出大数据计划的根源，在于有十几年以上数据公开的基础。”北京理工大学教授丁刚毅说，美国的DATA.GOV网站就体现了政府公开数据的力度，“大家可以上网看，DATA.GOV的数据量非常大，和世界银行、联合国的数据都可以媲美。里面很多都是敏感数据，但它就是敢公布，认为只有公布这样的数据，才能有更好的国际合作去应对危机。欧盟、英国，包括巴西这样的发展中国家，都已经加入了DATA.GOV”。

　　丁刚毅说，在数据公开上，联合国组织和美国的一些研究机构在全力以赴，已经有10年了。每年还有各式各样的活动促进数据公开。

　　美国数据开放，使不少基于政府数据的服务，创造了巨大效益。比如硅谷有一家“气候公司”，利用美国气象局数据库中几十年的天气数据，研究各地降雨、气温、土壤状况与历年农作物产量的相关度，预测农场下一年的产量，以出售保险。这家公司由于前景光明，最近被农业巨头孟山都公司收购。

　　还有利用气象信息和航班误点信息来预测航班误点几率的服务，可以推动航空公司提高正点率。再如城市治堵，政府的数据也排上了用场——美国和英国最早利用大数据管理交通，给出交通预测，让公私车辆适时出行。

　　 对于政府数据公开的益处，美国商务部首席信息官西克曼在一次IT会议上说：“政府实现预期目标的真正障碍不仅在于收集数据，更在于如何将数据转化为切实可用的信息产品以及开发知识。