大数据时代中还有一类产物便是基于大数据分析和挖掘的能力,针对用户进行个性化的信息推送的产品,目前美国亚马逊、阿里巴巴集团旗下的淘宝网等电子商务网站中,这种产品均在越来越广泛的得到应用,并取得了很好的转化效果,比传统的导购模式表现出了更高的转化率(可以理解为看这些页面的人中实际购买这些页面呈现的商品的人的比例)。另外在网站的后台,基于大数据的BI(商业智能 Business Intelligence)分析更是早已为网站的运营人员和规划人员提供了宝贵的信息支持。目前国内外也有很多数据公司通过构建大数据分析系统来服务各类企业的BI部门。
我们可以试想一下,以我国公安机关拥有的公民信息为核心,加上民航和铁路部门拥有的出行信息、银行拥有的交易信息、各个城市的社保公积金数据、电信系统的数据等等,构建一套大规模的国民数据挖掘处理系统,这样的系统的数据价值自然是极大的,显然,便能够充分体现出,关联的大数据(Linked Big Data)所产生的巨大价值了。当然这样的系统是不可能存在的,不过作为例子描述却是极佳的。
当然本文作为一个科普性质的读物,笔者并不希望读者们对本文望而生畏,所以,即便是对基础知识的介绍,本章节也不会参杂多少深奥的理论知识。而且事实上,数据仓库与数据挖掘的相关技术和理论,大多都是从工程师们的实践中总结出来的,而不是由大学中的教授们研究出来的。不过,为了解释数据仓库到底是什么,它和我们所熟知的数据库系统有什么不同,笔者还是要引用现代数据仓库之父,William H.Inmon大师的著作:《 数据仓库 Building the Data Warehouse 》中的一个定义: