大数据不等于好数据

wangzheng3056

大数据不一定等同于好数据，且越来越多的专家也坚信这一点，大数据并不会自动产生好的分析结果。如果数据不完整、断章取义或者被破坏，可能会导致企业产生错误的决策，从而削弱企业的竞争力或影响用户个人日常生活。

美国哈佛大学教授、定量社会科学研究所主任——Gary King就曾因数据分析时断章取义，得出了错误的结果。他发起了一个大数据分析项目，即通过检测Twitter和其他社交媒体帖子中的“工作”、“失业”和“分类”等关键词，来预测美国的失业率。

通过使用情感分析的技术，该组织收集了包含这些关键字的tweet和其他社交媒体帖子，来查看这些帖子的增加或减少是否与每月失业率存在相关性。

在监测这些内容时，研究人员发现包含其中一个关键字(“工作”)的帖子数量急剧增加，但随后，他们发现这与失业率毫无关系，因为他们忽略了乔布斯(乔布斯的名字Jobs也有“工作”的意思)去世的消息。我们应从这个例子中吸取教训，不要完全依靠“神奇”的大数据来指导决策。

King表示，“jobs”的双重含义只是诸多类似事件之一，在这一领域工作的人都遇到过类似的经历。他说：“这些关键字列表在短期内可能可行，但从长远来看，往往会带来灾难性的失败。你可以通过添加额外的关键字来解决问题，但这需要大量的人力参与。”

你可以输入关键些到Bing Social页面，便会看到一些相关或者无关的东西。如果你不更改查询，随着时间的推移，你会发现含有这些关键词的话题正以某种方式逐渐偏离主题，有时候偏离比较小，有时候却很大。”

但King表示，总体而言，很多大数据分析都产生了有用的内容。Vantiv公司首席安全官兼高级副总裁Kim Jones表示，这不是一个新问题，但如果人们认为大量数据能够奇迹般地产生良好的分析结果，这个问题可能会变严重。他指出：“Jobs的例子是一个经典的案例，数据本身并不等同于智慧。”

King认为内容是关键。他是大数据分析公司Crimson Hexagon首席科学家兼联合创始人，用该公司市场营销执行副总裁Wayne St. Amand的话来说，该公司旨在为在线对话提供“内容、意义和结构”。

然而，越来越多没有内容的数据在推动决策过程。华尔街日报2月份曾报道，医疗保险公司使用大数据来为其用户创建个人资料文件。该公司追踪的信息之一是购买加大号衣服的历史记录，这可能会导致将转诊转为减肥的计划。

没有人会觉得鼓励人们更健康地生活是错误的事情，但是这方面涉及的隐私问题却令人不安。这个人购买加大号衣服可能是送给另一位家庭成员。而且这种隐私问题可能带来更严重的影响。《彭博商业周刊》在2008年曾报道过有人因购买处方药的历史记录，而被保险公司拒绝为其上医疗保险，而这个人买药的历史记录暴露这个人有轻微的心理健康问题。

Adam Frank在博客中指出，在某些情况下，银行会因为用户在社交网站LinkedIn或者Facebook上的联系人的情况而拒绝用户的贷款。如果你的朋友赖账，你的信誉可能也会受到他们的信誉的影响。ACLU高级政策分析师Jay Stanley指出，“信用卡公司有时会因为其他消费者的信贷历史记录而降低消费者的限额。”

Kim Jones表示，从相关性得出结论，而不进行进一步分析，这给他本人也带来过麻烦。“在80年代后期和90年代初期，有数据显示，驾驶入门级豪华车，且年龄在20和27岁之间的西班牙裔和黑人男性最有可能是毒贩。而我正好符合这个标准，我是非裔美国人，年龄也在这个范围内，当时我开的正式这样的车，但我并不是毒贩。”

他表示，“我们不能只是依靠数据分析，那样可能会导致一些坏的结果。如果你忽略人类的分析因素，那么你的错误率将会非常高。”

简言之，大数据是一个工具，但不应该被视为解决方案。“它可以帮助你缩小范围，从数百万可能缩小到150左右，”Jones表示，“但是我们不能让计算机做一切判断，因为这最终可能会给你带来麻烦。”

作者：邹铮编译