超级计算机与大数据分析系统有所不同

迷途

2013年10月29日-31日，由中国计算机学会主办，中国软件行业协会数学软件分会协办，中国高性能计算机学会高性能计算专业委员会和桂林电子科技大学承办的HPC China大会在桂林召开，来自学术界、产业界的专家共同探讨中国高性能计算机的发展。 　　31日上午，来自Cray公司的亚太区技术总监T.I.Tsai发表了主题为《The Fusion of supercomputing and data analytics to drive scientific discovery》的演讲。我们知道，Cray是超级计算机之父，但由于HP,IBM的崛起，世界超级计算机500强中份额已经明显下滑，但最近几年有夺回超级计算机霸主地位的趋势。那么，这家公司未来将朝着怎样的方向发展呢？ 　　T.I.Tsai表示，作为超级计算机之父，Cray公司的目标一直是建立全球最快的超级计算机。目前，Cray主要聚焦于三大市场，包括计算、存储和分析。据介绍，Cray公司去年已经在中国北京成立全资子公司。 　　同时，Cray还在关注大数据领域。IDC数据显示，Hadoop会占到大数据分析50%的市场。Cray通过数据模型的建立帮助用户挖掘大数据的价值。目前大数据分析的软件主要包括四个平台：数据仓库、NoSQL数据库、Hadoop、图论分析系统。Cary提供Hadoop平台和图论分析系统。 　　T.I.Tsai认为，超级计算机和大数据分析系统存在一定的差别。超级计算机使用最快的主机，而大数据分析时往往用最便宜的主机，同时在软件上，大数据系统并不太强调计算能力，因为计算能力往往被低速的互联抵消掉。 　　Cray提供了一套大数据分析架构，用户可以安装所有类型的CPU，包括GPU，同时搭配Cray的编译器、数学库等，未来可能搭配特制的硬件，可能是特制的内存、IO等。 　　同时，Cray还在跟美国政府合作在开发新一代的Map/Reduce的方案，包括改写Map/Reduce的API等。