主成分分析法基本原理

2744557306

什么是主成分分析法

　　主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。

　　在统计学中，主成分分析（principal components analysis，PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。

主成分分析法的基本原理

　　主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的 p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。

　　主成分分析的原理是设法将原来变量重新组合成一组新的相互无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上处理降维的一种方法。主成分分析是设法将原来众多具有一定相关性（比如 P 个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来 P 个指标作线性组合，作为新的综合指标。最经典的做法就是用 F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Va（rF1）越大，表示F1包含的信息越多。因此在所有的线性组合中选取的 F1 应该是方差最大的，故称 F1 为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取 F2 即选第二个线性组合，为了有效地反映原来信息，F1 已有的信息就不需要再出现再 F2 中，用数学语言表达就是要求 Cov（F1,F2）=0，则称 F2 为第二主成分，依此类推可以构造出第三、第四，……，第 P 个主成分。

主成分分析法的计算步骤

• 将原始数据按列组成 n 行 m 列矩阵 X；
• 将 X 的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值；
• 求出协方差矩阵；
• 求出协方差矩阵的特征值及对应的特征向量；
• 将特征向量按对应特征值大小从上到下按行排列成矩阵，取前 k 行组成矩阵 P；
• Y = PX 即为降维到 k 维后的数据；