数学建模社区-数学中国

标题: 数据仓库过时了么？ [打印本页]

作者: wangzheng3056 时间: 2014-4-17 00:58
标题: 数据仓库过时了么？

---------引言---------

最近看到有做过几年BIDW经验的朋友说，DW过时了，耗时、耗钱，开发报表还慢，不如直接面向需求开发最为划算，快速简洁明了，还省钱，费时费力搞DW是为了哪般呢？作为10多年DW经验的人来说说我对DW的感受和作用吧，希望给大家一个全面、客观的DW参考意见。

-------DW的由来-------
这是大家普遍知道的，很多朋友说，大数据时代，以前的过时了，但是还是有必要提一下。早期DW是因为如果直接在业务系统上开发报表十分不方便，而且可能因为数据库DDL与DML互相影响，特别是关键业务不能影响的情况下，要出报表就很尴尬，于是独立DW呼之欲出。

----DW/DM的ROI尴尬----
早年DW建设ROI就是以数据能整合、能出各种报表、报表效率不错就OK了。随着时代变迁，对数据投入越来越追求实际的ROI，而非数据、技术本身。目前可以看到很多企业IT在DW上投入买了各种机器、各种数据库，用了不好再买，而产出仍然是广受业务挑剔的报表而已。仅仅从这个角度出发看，DW的大量金钱投入，产出实在太低了。

而由于数据基础不牢，业务理解浮浅，很多企业的数据挖掘都成了空话，找了些挖掘高手直接参考啤酒与尿布的案例，结果被业务部门所不齿，因为结果毫无影响，BI乃至IT再次受到企业冷遇，因为高薪人才+高投入挖掘的实际效果产出，业务部门看到的产出是几乎为0。

-------DW高产出案例-------
这里一一回答DW质疑问题：
1。DW投入是必须的，但不能浪费，需要有预见性和计划性，不能这个月用ORACLE，下个月想起了买TD，再过几个月买EXTRADATA，这些都不是开源数据库，用钱得想清楚。

2。DW投入周期长的问题，首先DW并非都是大DW方案，可以先局部DW建设，然后快速出分析成果。这当中，包括对业务数据的数据流理解，统计口径的了解、数据质量诊断、分析参数整理，即便你不用DW，也得搞清楚才能出报表是不？

3。DW开发报表效率问题。记得我们以前做好DW平台之后，数百人可以自己开发报表，如果你没有DW用了2小时，在DW平台上恐怕只需要半个小时搞定。

4。没有DW，必须专业开发人员开发报表，假设专业报表开发人员10人，100张报表，需要10*2小时，在DW平台上，可以发动100个培训过BI的业务人员自己开发，半小时都可以搞定，而且数据统计口径划一，数据质量有保障。

5。没有DW做数据透视展现或数据挖掘时，需要抽取一些数据到专业工具或EXCEL，多次的数据加工、数据倒来倒去，方能出成果。在有DW的时候，数据挖掘需要计算的中间结果，可以存放在DW，降低数据加工成本与风险的同时，可以给不同用户重用。

6。DW框架下，需求变更管理更容易，增加事实、增加维度、还是增加指标、增加属性、增加或改变统计参数，都有规范的理论，不需要像在没有DW的时候改得面目全非。

7。DW在企业视角下，对数据理解更全面，并迫使DWBI团队不得不深入熟悉企业业务的各个部分，并融合在一起。很难想象如果有营销报表做营销报表，有库存报表做库存报表的团队，能全面理解业务，并能对业务和数据有统一视图？！

---------总结--------
大数据时代，DW并没有过时，过时的是某些老技术不能满足更大数据的处理存储要求而已，任何技术都必须忠实于企业的需求，价值的诉求，才有发展空间，否则真的要被时代所抛弃。做不好DW，并不代表DW过时了，而是DW也在发展，DW和BI结合紧密。对于发展20年的DWBI，不可井底之蛙，也不可能盲人摸象！

欢迎光临数学建模社区-数学中国 (http://www.madio.net/)