脚踏实地玩儿转大数据

math3056

随着科技的不断进步，日常工作、生活中的数据量也是节节攀升，我们迎来了大数据时代。以大数据为代表的数据密集型科学将成为新一次技术变革的基石。随着数据的进一步集中和数据量的增大，对海量数据进行安全防护变得更加困难，数据的分布式处理也加大了数据泄露的风险。物联网、云计算、移动互联网等新技术的发展，使得手机、平板电脑、PC及遍布地球各个角落的传感器，成为数据来源和承载方式，BYOD也随之诞生。

    何为大数据　　        据有关分析公司预测，到2013年，互联网承载的数据量将会达到每年667EB，这是什么概念？1EB=230GB，数据量之大显而易见，这些数据绝大多数是“非结构化数据”，通常不能为传统的数据库所用，但是大数据的技术革新将会给我们的生活带来巨大变化。　四大特点组成大数据　　数据量巨大：人类生产的所有印刷材料的数据量是200PB（1PB=210TB），而历史上全人类说过的所有的话的数据量大约5EB（1EB=210PB）。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级，如此庞大的数据量群，分析它们的难度可想而知，因此需要大量的大数据解决方案。　　价值密度低：这也是当今大数据背景下需要解决的一个难题，价值密度的高低与数据总量的大小成反比，如果看一小时视频，在连续不间断的监控中有用数据的时间可能会很短，甚至是几秒钟，那么强大的数据计算机的算法就需要非常迅速地完成对数据的“提纯”。     大数据模式 　　数据类型多：这点不用多解释，数据类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等。　　处理速度快：据IDC研究机构报告显示，预计到2020年，全球数据使用量将达到35.2ZB（1ZB=210EB），分析这么大的数据，就需要设备对数据的处理速度有很大的提升。>>　　热门产品：三星ES8000创维E700S夏普LX640A海信XT770惠普2520hc佳能MP288TP-Link TL-WR847NJCG JHR-N835R华为T8950HTC One SC神舟精盾K790神舟精盾Q480　大数据给企业谋福利　　2012年3月，美国宣布投资2亿美元启动“大数据研究和发展计划”，借以增强收集海量数据、分析萃取信息的能力。2012年瑞士达沃斯论坛上发布的《大数据大影响》报告称，数据已成为一种新的经济资产类别，就像货币或黄金一样，许多国家政府更是把大数据上升到战略层面。    全球大数据市场发展趋势　　对企业来讲，在大数据背景下数据资产将会取代人才成为各个公司和行业的重要载体，可以有效地帮助企业完成业务的操作、流程的制定以及公司各项工作的运营和监督，通过对数据的分析，帮助企业领导者进行各项决策。　　大数据对企业的核心资产也进行了重塑，企业必须熟悉和用好海量的数据，而互联网行业已提早感受到了大数据带来的深切变化。一些互联网企业已经完成了核心竞争力的重新定义。　信息安全不容小视　　大数据成为网络攻击的显著目标，在网络空间，大数据是更容易被“发现”的大目标。一方面，大数据意味着海量的数据，也意味着更复杂、更敏感的数据，这些数据会吸引更多的潜在攻击者。另一方面，数据的大量汇集，使得黑客成功攻击一次就能获得更多数据，无形中降低了黑客的进攻成本，增加了“收益率”。　　如此庞大的数据中包含了很多个人信息，甚至是隐私信息，数据的集中存储就势必带来大量数据丢失和破坏的风险，一些敏感数据的所有权和使用权并没有明确界定，很多基于大数据的分析都未考虑到其中涉及的个体隐私问题。　　许多企业对大数据的认知程度不同，因此致使企业在大数据管理和运营中会出现不妥之处，安全防护手段的更新升级速度无法跟上数据量非线性增长的步伐，就会暴露大数据安全防护的漏洞。　　大数据技术很容易成为黑客的攻击手段，在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时，黑客也在利用这些大数据技术向企业发起攻击。黑客会最大限度地收集更多有用信息。　　传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测，而高级可持续攻击是一个实施过程，无法被实时检测。此外，大数据的价值低密度性，使得安全分析工具很难聚焦在价值点上，黑客可以将攻击隐藏在大数据中。　切忌一哄而上　　中国工程院院士邬贺铨曾建议，中国发展大数据需要尽快制定信息保护法与信息公开法，既要鼓励面向群体而且服务于社会的数据挖掘，又要防止针对个体侵犯隐私的行为，既要提倡数据共享又要防止数据被滥用。 邬贺铨院士　　据了解，2010年中国新存储的数据为250PB，仅为日本的60%，北美的7％。我国还并未重视对大数据的利用和存储，一些数据在一定时间内白白浪费了。一些部门和机构拥有大量数据，但以邻为壑，宁愿自己不用也不愿提供与有关部门共享，导致信息不完整或重复投资。     国内大数据发展　　邬贺铨说，我国对大数据的信息安全保护也不够重视。2012年中国的数据存储量达到364EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。　　在制造行业，企业通过对网上数据分析了解客户需求和掌握市场动向，并对大数据进行分析后，就可以有效实现对采购和合理库存量的管理，大大减少因盲目进货而导致销售损失，大数据是一个应用驱动性很强的服务，其标准和产业格局尚未形成，这是我国跨越发展的机会，但切忌一哄而起。