数据分析的基本实质：说管用的话

wangzheng3056

说管用的话是指深入分析数据的实质，挖掘数据的内涵，而不是停留在数据的表层，说些大话、空话或者套话。这就要求在数据分析时，首先明确分析的目的，其次是选择恰当的方法，最后得出有用的结论。通俗地说，说管用的话，就是不说屁话，少说废话！

1、明确分析目的

这里我们举个例子。我想这个例子的时候正好是7月7号，N年前的那个时候，正好是在座的各位高考的日子，所以就杜撰了一个高考的数据。

我们这个班级，虽然成绩很烂，800分的总分，平均成绩只有486分，但是人才辈出，名字一个比一个响，人气一个比一个旺。大家先认识一下，有饱读四书五经，满腹经纶的关东秀才吕轻侯；有篮球场上进攻犀利，防守严密的小飞侠科比；还有足球场上无论是边路传中还是抢点射门都有非常出色的C罗纳尔多；有喜欢烟熏妆、蓝丝袜加高跟鞋出镜的伪娘刘著，有被亿万网友烧香膜拜的春哥党教主李宇春，还有经常抱着吉他哼着绵羊音的90后MM曾轶可；以及自称冰清玉洁、妖媚性感、擅长爆发性舞蹈动作的芙蓉姐姐和非清华北大经济学硕士不嫁、奥巴马也可的重庆籍奇女子罗玉凤！

基于学生的考试成绩，不同的人会关注不同的方面，高考的判卷老师会关心试卷的雷同程度，命题人会测试考卷的信度和效度，研究文理分科的专家会计算文理成绩的相关程度。但是对于普通中学，通常只会关心两个方面。一是学生成绩，计算升学率；二是教学水平，给优秀教师发奖金。如果高中的教学科在这里研究文理相关就属于废话，如果还要把问卷的信效检验也扯出来就是屁话了。

关于学生：

  吕秀才：总分722分，班级第一，平均成绩超过90分，如果将其他同学的水平比作三层小楼的话，吕秀才应该是站在赛格顶上！奇才，上清华北大没有问题。

  科比和C罗：总分550左右，平均不到70分！属于班级2号、3号人物，但成绩确实不咋地，不过在该班级中也算鹤立鸡群了。

  刘著、李宇春、曾轶可：成绩较差，上学肯定不是她们的出路！基于平时性情怪异，男的像女，女的像男，还有一个像绵羊，建议别走高考这条寻常路，还是去湖南卫视选秀吧。

  凤姐、芙蓉：这成绩，就是个脑残，估计脑袋不是被门挤过，就是被驴踢过！

关于老师：

  衡量教师的优劣需要剔除异常值，吕秀才就是！吕秀才属于成绩异常出众，个人素质极高，所以他的成绩不应该成为衡量老师优劣的样本。

  语文均值高，变异系数小！由此看出语文老师真是好老师！该发奖金！

  同理，历史老师也不错！也应该适当奖励。至于物理老师，太差，得赶快换掉，绝对不能让他继续误人子弟了！

  存在疑问的就是英语老师。英语成绩的均值较高，但变异系数大。这说明数据里可能存在极端值。可能的异常值是科比与C罗。科比美国人，外语自然好！C罗葡萄牙人，但从2003年到2009年一直在英国留学，6年啊，英语好也是应该的！所以，科比与C罗的英语成绩不能算是英语老师的栽培，所以科比和C罗是异常值，应该剔除。那么，剔除异常后就会发现英语的均值只有47分！说明英语老师并不能算做好老师，所以只能与奖金无缘了！

2、选择恰当的方法

接上面的案例。如果我们是研究高中该不该进行文理分科的有关部门，那么我们该如何分析文理成绩之间的相关性？

举例1：如何计算文理科之间的相关性。

目前基本有三种方法，一是简单相关分析，二是典型相关分析，三是潜变量相关分析。

简单相关分析就是通过加总，分别计算出文科成绩总和、理科成绩总和，然后计算两者的简单相关系数。

典型相关分析主要用于衡量两组变量之间的相关性。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取是的相关系数最大的一系列典型变量，然后通过计算各对典型变量之间的相关性，来反映变量间的相关程度。

潜变量相关就是计算潜变量之间的相关系数。所谓潜变量是相对于显变量或者测量变量而言的。潜变量是实际工作中无法直接测量到的变量，包括比较抽象的概念和由于种种原因不能准确测量的变量。一个潜变量往往可以有多个显变量，潜变量是可以看做是其对应显变量的抽象和概括，显变量则可视为特定潜变量的测量指标。在文理科相关性的分析中，我们可以将文科、理科看成潜变量，将语文、外语、政治、历史这四个显变量看成文科的测量指标，将数学、物理、化学、生物这四个显变量看成是理科的测量指标，那么求文理成绩之间的相关问题就转化成潜变量之间相关的问题。

那么。我们究竟该选用哪种方法呢？或者假如说我们同时使用了上面三种方法，求出相关系数，该选择哪一个呢？比如我们计算的结果分别是0.35(简单相关)、0.85（最大典型变量）、-0.65（潜变量相关），这个时候我们到底该相信哪个数据呢？

其实，我更愿意相信简单相关计算的结果。原因如下：

1、简单相关，既简单又易理解。

2、典型相关的取值范围是【0，1】，它计算出的结果没有正负，只有大小。与我们实际研究目的有悖。我们想知道学生是否在文理课程上均衡发展，所谓均衡就是正相关，所谓不均衡就是负相关。而典型相关做不到。

3、潜变量相关虽然取值范围是【-1.1】，但是它多数是采用主成分的方法拟合潜变量，而依据方差提取最大主成分的过程与我们的分析貌似不甚吻合。

4、最重要的是，其实简单加总与典型相关、主成分相关拥有同一个思想，就是先把多个变量拟合成一个变量（或几个），然后分析这个拟合出来的变量之间的相关性。其实，在量纲、数量级相同的情况下，而且权重也容易计算的情况下，最简单有效的拟合就是加总！所以我认为简单加总后计算出的相关系数是最有效。而潜变量、典型变量是在量纲或数量级不等的情况下，衡量多个变量之间相关关系的有效方法。

举例2：计算硬币正反概率

最后，再给大家做道选择题。

问题：如果一枚硬币连抛10次都是正面，问第11次出现正面的概率是多少？

选项：A. 接近0%    B.50%      C.接近100%     D. 以上答案都不对

一个硬币连抛10次都出现正面的概率是0.510，绝对的小概率事件。在一次实验中，小概率事件发生，那么我们就应该拒绝原假设。原假设是什么？硬币出现正反的概率是0.5。所以，我们可以大胆地推断，硬币本身就是一个两面都是正面的硬币，所以说第11次出现正面的概率是100%，或者接近100%。大家是不是有异议呢？

树上10只鸟，猎枪一枪打死1只，树上还剩0只的结论大家都应该同意吧。因为我们考虑的是实际问题，不是10-1=？的数学算式。所以大家在幼儿园的时候就知道枪声响过，树上一只鸟都不会剩。试想，你和你的朋友打赌投硬币猜正反，如果10次之后朋友投出来的都是正面，你会怎么想？兄弟你出千了吧，硬币肯定有问题吧！相信用不了10次，你就会提出这样的质疑了。如果说计算概率，0.5没有错，独立事件发生的概率不因之前的情况而改变。但是，如果用假设检验的思想，100%的结论就更合理了。之所以说0.5的结果不对，不是说你的计算出错了，而是在解决实际问题的时候，你太教条了，太书本了，从而选错方法了。

最后总结

我的分享结束了，大家也听了也笑了，但是笑过之后务必记住我啰嗦了一个小时的这句话：用数据说话就是用真实的数据说话，说真话、说实话、说管用的话！最后说一句废话：希望刚刚过去的1个小时没有浪费大家的时间。谢谢！

整理自：http://blog.sina.com.cn/s/blog_66035a700100khw2.html