微软大数据解决方案助力企业快速发展

迷途

市场研究机构IDC的调研结果显示，到2020年，全球数据容量将达到35 ZB（即35万亿TB），比2009年增加44倍，且数据的类型和种类将更加复杂化。多数分析师认为，其中有高达85%的新数据都是非结构化的数据，例如文本、网络日志、视频、照片、地理信息等。数据的世界正在不断变化，企业面临的挑战是不断增加的数据容量、种类和速度，我们究竟该如何面对这个数据新世界呢？ 　　数据新世界 　　随着数据的爆炸式增长，存储和处理数据在软件和硬件两方面的成本显著降低。计算机的计算与存储能力呈指数增长，现在只要500元就能买到1TB的存储容量，硬件成本只相当于十年前的1/100，几乎已经可以忽略不计。在软件方面，如Hadoop和MapReduce等新兴的技术，可以帮助客户在基于行业标准的硬件环境当中建立大型分布式存储和计算机群，显著改变数据处理和分析的经济效益。这些改进让计算机历史上首次出现了存储和处理数据的成本低于从这些数据当中获得的预期价值的情况。现在企业可以选择存储数年的网络日志数据，即使并不知道将来这些数据可以被用于何种用途，而在过去，企业不会将这些数据保存一个月以上。 　　数据量的激增让企业客户开始关注更多与业务相关的问题，例如如何通过分析社交网络决定企业的品牌和产品定位？如何让企业的线上竞争策略更加高效？如何才能更准确地吸引目标用户？这些新的需求对传统的数据管理技术提出了挑战，今天的企业需要一个新的解决方案来帮助自身更有效地管理、优化各类数据，并从中获得有价值的业务洞察。 　　微软大数据解决方案概览 　　微软大数据解决方案可以无缝地从任意地点（包括本地服务器或云端）管理任意大小（GB、TB、PB）所有类型（结构化、非结构化以及实时数据）的数据，通过将全世界的数据连接到一起，丰富现有的数据集合，再帮助用户通过熟悉、易于使用的工具，获得数据洞察力。 　　具体地说，客户可以通过采用SQL Server 2012、SQL Server Parallel Data Warehouse应用系统、Azure Marketplace数据集市等方案来管理数据及用户。同时，还可以使用熟悉的商业智能工具，如PowerPivot for Excel和Power View for SharePoint等来管理它们。此外，如通过SQL Server StreamInsight提供的流数据支持的新功能，微软将包含基于Hadoop分布式平台的全新Windows Azure HDInsight服务和Windows Server来处理PB级的非结构化数据，帮助企业实现基于SQL Server的数据库管理以及在Hadoop当中的非结构化的数据的快速移动。 　　从任意地方管理任意大小的任意数据 　　数据管理的需求已经从传统的结构化数据存储，演变成为结构化、非结构化数据存储并存的时代，现代信息管理平台必须支持所有类型的数据。SQL Server支持非传统和非结构数据类型已经有很长的历史，现在SQL Server也提供了在企业内部服务器和云上的企业级Hadoop支持。 　　微软新近推出的HDInsight是一种适合企业使用的、基于HDP的Hadoop服务，可用于Windows Server和Windows Azure平台，Windows的可靠性、可管理性、和易用性已经融入到Hadoop环境当中。通过减少打包和软件分发时间，简化运营管理并大大减少安装和配置部署时间。这些功能改进将使得IT部门能够在整个Hadoop集群中采用一致的安全策略，并通过System Center简便的管理它们。此外，对于基于云环境的Windows Azure HDInsight服务，微软将继续降低服务部署的门槛，为客户提供以服务的方式使用大数据的功能，通过基于Web的门户来简化Hadoop集群的设置和配置。对于企业用户来说，微软所提供在企业内部服务器上和云端部署可扩展大数据的解决方案，可将所有的产品均部署在一个通用的平台上，并使用自身熟悉的、功能强大的商业智能工具。 　　在开源的角度上，微软承诺对Apache Hadoop API提供100%的兼容性，所有基于Apache Hadoop编写的应用程序将能够在Windows平台上运行。通过与Hortonworks密切协作，微软已经正式提交了在Windows Azure和Windows Server上提供基于Hadoop的软件方案的实现方案，并将其作为Apache基础代码变更的一部分。 　　通过与全世界数据连接在一起提供增强的功能 　　今天数据的价值信息已经涵盖了包括个人数据、企业数据、社区数据乃至世界数据等不同的应用领域。为了让企业更好的发现内部和外部数据，微软建立了代号为“Data Explorer”的Azure实验室，旨在帮助客户通过自动提议，来发现相关数据集。另一个代号为“Data Hub”的实验室，旨在帮助企业或组织创建一个私有的专属数据市场，提升组织内部的数据发现、共享和分析的模式。 　　通过使用Windows Azure Marketplace中的应用程序和智能挖掘算法，用户还能发现更多的数据挖掘模式。例如Windows Azure Marketplace的DataMarket可以实现防火墙外部和第三方数据源的发现与共享。Windows Azure Marketplace提供第一和第三方应用程序和挖掘模式，客户可以从他们的数据集当中获得新的业务洞察。 　　在优化外部数据方面，大数据解决方案可以通过SQL Server Integration Services（IS）、SQL Server Data Quality Services（DQS）数据清洗和SQL Server Master Data Services（MDS）数据管理等功能组件将原始数据转换为可靠一致的数据，再通过通过SQL Server Analysis Services（SSAS）的高级分析来实现数据的精炼。微软大数据解决方案支持Mahout等常用的第三方工具和框架，通过Hadoop的数据流，还可支持以C++, C#, Python, Ruby和Pearl来编写定制的挖掘算法。