数据挖掘-PHP：浅谈大数据的产品形态

math3056

      嗨，朋友，看到这个标题请先别主观排斥，跟你一样，我也反感动辄乱谈大数据，为了后续的沟通愉快，先做下这里的“大数据“指向，特指符合4V特点的大数据，即：1，数据体量巨大；2，数据类型繁多；3，价值密度低；4，处理速度快。所以，本文的“大数据”既不是有些人口中的海量数据，也不是非结构化数据，更不是什么相关与因果，这里不谈什么是大数据，只谈谈大数据的产品形态与商业逻辑，抛砖引玉，期待交流。
一、大数据的产品特性
       顾名思义，“大数据产品”应该是基于大数据而设计出的产品，那么理应符合大数据的特点，毕竟基因在那，那么回顾下大数据与(传统)数据有哪些具体区别

差异	(传统)数据	大数据
数据量	少量或者适量	海量
数据类型	结构化	结构化+非结构化
处理速度	延迟	快速或者实时
总体代表性	无偏	可能会有偏差

       (传统)数据是通过问卷调查收集数据，或者是已存储的历史经营数据，比如财务数据、销售数据这些，至于数据量级，可能就是一台server的存储级别。而大数据是海量，这个海量并不是某个时间断点的量级总结，而是持续有更新，持续有增量，那么就决定了可以”制造”出大数据产品的应该不是传统企业，而是类似电信、银行、微博这样的平台级机构，或者依附于平台级企业的第三方机构，亦或者是更宏观层面的政府管理机构。这些机构拥有大量用户，可以源源不断的产生UGC数据，因此存储和计算成本必然会随之上涨，也就决定了大数据产品的甲乙方级别，屌丝可能会被无情的淘汰出局。这些数据不仅仅是数值型的结构化数据，还包括文本内容、图片、音视频等非结构化数据。在处理速度上，(传统)数据使用excel或者spss，前期有严谨的方法论，后期有完善的分析处理过程，从数据的收集到最后报表/报告的产出，这个周期可能在至少一周以上，而大数据因为有了hadoop/storm等IT技术的支持，在处理速度上可以保证在小时级延迟，甚至更快。这里需要补充一点的是，大数据产品是否要快速计算？个人觉得应该是，这里的快速是相对快，不一定非要实时，毕竟在收集、存储、计算上花了更多的成本，策略如果不及时发现，也对不起那些集群啊。那么是否说大数据就一定比(传统)数据好了？不一定，引用祝建华老师《文科教授眼中的大数据》里的一段话，“理论上讲大数据指的应该就是总体数据。但实际上，由于技术、商业、保密和其它原因，除了少数大数据的原始拥有者，对于绝大多数的第三方来讲，现在大家讲的大数据，基本上都不是总体数据而是局部数据。注意，这种局部数据，哪怕占了总体的很大一个百分比（70%、80%），既不是总体数据、也不是抽样数据。因为哪怕是缺了10%、20%的个案，局部数据跟总体也许就有很大的差别。”所以在总体代表性上，(传统)数据可以较好的代表整体，而大数据可能会出现偏差。但是，这个偏差并不影响大数据产品的商业应用，举个例子，微博上每天都有各种口碑和舆情，如果涉及某个企业的负面舆情突然趋势走高，即使在不能代表总体的情况下，你能认为这个态势不值得警惕么？当然是不能。并且，大数据产品对使用者的要求更高了，不光关注活跃的数据，还得关注沉默的数据。
       由此，大数据产品所具备的特性应当是：1、数据量级更多；2、数据处理速度更快；3、数据类型多样；4、使用者要求更高，那么，大数据产品究竟长啥样？

二、大数据的产品形态
      先说一个亲身经历，在家收看好声音导师考核的汪峰场，之前一直很期待这场,毕竟汪峰的风格理念偏重社会观察，偏重人文洞察，但看到快一半的时候，却发现很乏味，想换台，没有那英那场更黏我，如果说看上一场脸部肌肉是松弛的话，那这一场则是紧绷的，"上苍、思念、回忆、故人、泪水...."当这些碎片词语不断的充斥在我的耳边时，真的不觉得这是一个娱乐节目，一个比一个悲凉，我的诉求很简单，像看周星驰无厘头电影一样，开心一下足矣，哪怕没有任何的教育意义。随后发了一条微博吐糟，引来众多附议。我想这应该是不少受众当时的心态，但不代表对汪峰场的整体评价。那么，试想一下，如果你是好声音的竞争对手，在此刻很实时的洞察到了用户的心情反馈，再通过合适的路径传递出营销信息，受众是否会换台？答案是未知的，但想象空间是巨大的。
       这个场景很恰如其分的给我们描绘出了大数据的产品形态。首先他需要在平台级机构(微博)上监控海量数据(微博内容)，这些数据是非结构化的，通过实时计算获得洞察（拥有不满情绪的是少量群体还是大量群体，是真实声音还是噪音污染），并快速应用（推送营销信息）。这样的例子还有很多，特别是在营销环境里，受众的情绪不是线性稳定的，可能十分钟前还是心情愉悦的，而十分钟后，则是心情紧张的，不利于接受你的品牌信息并形成记忆，这些情绪的变化是随机动态的，因环境的变化而随之变化。还有哪些属于大数据产品呢，仅以我所了解的互联网领域为例，DSP、RTB、推荐系统，另外就是宏观的情报系统了，比如联合国的全球脉动项目。

三、总结
       综上所述，大数据的产品形态应该是，运行在平台级机构之上，通过对持续性海量增加的多结构类型数据，进行快速计算产生策略，结合使用者的经验认知及时应用，进而产生价值形成商业闭环，一切不以此为特性的大数据产品都是耍流氓！