QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 3381|回复: 0
打印 上一主题 下一主题

[建模教程] 主成分分析 (一): 基本思想与主成分估计方法

[复制链接]
字体大小: 正常 放大
浅夏110 实名认证       

542

主题

15

听众

1万

积分

  • TA的每日心情
    开心
    2020-11-14 17:15
  • 签到天数: 74 天

    [LV.6]常住居民II

    邮箱绑定达人

    群组2019美赛冲刺课程

    群组站长地区赛培训

    群组2019考研数学 桃子老师

    群组2018教师培训(呼伦贝

    群组2019考研数学 站长系列

    跳转到指定楼层
    1#
    发表于 2020-6-8 15:21 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta |邮箱已经成功绑定
    主成分分析(principal component analysis)是1901年Pearson对非随机变量引 入的,1933年Hotelling将此方法推广到随机向量的情形,主成分分析和聚类分析有很 大的不同,它有严格的数学理论作基础。  主成分分析的主要目的是希望用较少的变量去解释原来资料中的大部分变异,将我 们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量。通常是选出比原始 变量个数少,能解释大部分资料中的变异的几个新变量,即所谓主成分,并用以解释资 料的综合性指标。由此可见,主成分分析实际上是一种降维方法。+ v1 I) e9 b- i/ N" E

    ( ~+ L8 z7 |1 [( t, {7 F
    7 R" h' _& @3 X! D! {* Z$ N" p9 `2 Q3 A7 p
    1  基本思想及方法, I; Z3 e* k. J
    3 v# c" n! b- z  P: f
    * C2 X4 Y3 x# {

    2 M. c4 c6 `( P' i0 W5 ^/ W
    - x/ L& p4 d7 |& }7 w' m, ~2 H  }$ Z( x/ B2 m# f' N
    1 确定各个主成分的方法' a* _9 j( d% v% {5 x
    一个主成分不足以代表原来的 p 个变量,因此需要寻找第二个乃至第三、第四主 成分,第二个主成分不应该再包含第一个主成分的信息,统计上的描述就是让这两个主 成分的协方差为零,几何上就是这两个主成分的方向正交。具体确定各个主成分的方法 如下。 + L6 m9 [7 |' q$ ^2 u5 r

    " P6 {4 s. N# |/ k) \) L3 Z; \- Z* |2 g" m* V

    2 ~; @* g- O% w8 A) B, h8 }
    9 {) K4 F! v* ~2 注意事项6 z; f# C- \- Z3 R* p' R6 b$ w! m: P
    1)主成分分析的结果受量纲的影响,由于各变量的单位可能不一样,如果各自改变量纲,结果会不一样,这是主成分分析的大问题,回归分析是不存在这种情况的, 所以实际中可以先把各变量的数据标准化,然后使用协方差矩阵或相关系数矩阵进行分 析。0 {. z- P/ I5 o5 ]. {

    5 i9 s6 B1 m8 Q, I 2)为使方差达到大的主成分分析,所以不用转轴(由于统计软件常把主成分分 析和因子分析放在一起,后者往往需要转轴,使用时应注意)。
    # s; A: r, {( j: o
    " t4 {! z. {3 r 3)主成分的保留。用相关系数矩阵求主成分时,Kaiser主张将特征值小于1的主成 分予以放弃(这也是SPSS软件的默认值)。
    5 }; E- c; s. I  I0 E* ]
    % j5 Q% z4 B! B0 \' N 4)在实际研究中,由于主成分的目的是为了降维,减少变量的个数,故一般选取 少量的主成分(不超过5或6个),只要它们能解释变异的70%~80%(称累积贡献率) 就行了。  下面我们直接通过主成分估计(principle estimate)进一步阐述主成分分析的基 本思想和相关概念。
    / _& [! m* S; {, l9 n% T, r
    % r# E5 }- `7 @2  主成分估计 * m; E3 O9 E& O8 k  N9 l9 q
    主成分估计(principal component estimate)是Massy在1965年提出的,它是回归系数参数的一种线性有偏估计(biased estimate),同其它有偏估计,如岭估计(ridge estimate)等一样,是为了克服小二乘(LS)估计在设计矩阵病态(即存在多重共线性) 时表现出的不稳定性而提出的。  
    + p) T$ g6 M' o; ?& [# u
    $ V9 s. _3 c$ [( z+ b主成分估计采用的方法是将原来的回归自变量变换到另另一组变量,即主成分,选择其中一部分重要的主成分作为新的自变量(此时丢弃了一部分,影响不大的自变量, 这实际达到了降维的目的),然后用小二乘法对选取主成分后的模型参数进行估计, 后再变换回原来的模型求出参数的估计。 ; L7 s% ~% ^. [, K
    2 u. a4 N5 e/ U: I
    - T! K( E- v2 x, w0 f

    + \# l$ p: r2 \) t# y% z) s) s

    6 v) {6 v8 l$ R* `* R9 F. ]* U/ a1 Q3 u; p+ j& D8 y- @

    4 k" G$ L+ J2 @5 A2 Z/ \# d3 c/ N9 B4 b7 k9 M" o* l' A
    ( u" |' D5 z7 s
    , i% T& [* Y/ P" ~
    1 f, Q6 Q8 n0 G' K" E

    # c+ w/ c6 E' _) ]! j
    + r9 b* S/ U$ a5 A, A/ v4 q
    2 C. E4 {( ]- a, f# t8 b
    / r" f  c4 e5 Y3 B7 B( _单参数主成分估计6 h" }% {2 y2 T# h# B7 s, J
    理论上表明:主成分估计在设计阵病态时优于LS估计,但(31)在特征值为1的附 近存在跳跃,会影响计算的稳定性,杨虎在1989年给出的单参数主成分估计解决了这个 问题。 0 `3 b# J! h+ c1 B5 Z/ P/ h9 o1 S
    1 Z# z! f3 r( U; Q5 Y
    0 ?7 t- Z5 w: P* g- n" g, J, C

    ' a6 T& N4 _9 g4 B3 T  Y2 K例3  Hald水泥问题,考察含如下四种化学成分
    3 M* N! R0 i7 S) u% l4 x- d" \; ?

    ! f* P) u( c; Z
    . Z' \  i" u0 Q- C
    ) s% r2 x4 B8 ]  N" `  e) Y& r7 E+ |# c
    相关系数阵的四个特征值依次为2.2357,1.5761,0.1866,0.0016。最后一个特征值接近于零,前三个特征值之和所占比例(累积贡献率)达到0.999594。于是我们略去 第4个主成分。其它三个保留的特征值对应的三个特征向量分别为 * y5 B& T4 F! Q1 m, b
    9 Q! |/ O# @0 j/ b

    4 l/ h& i5 x% D& W
    ; E* F' \$ A. C8 M" A+ _9 ]对Hald数据直接作线性回归得经验回归方程 8 i& S' ^' }. V: r! f  {  p4 n: \
    : Z2 g2 M! V  L4 w  {9 |& J

    # i% w% \3 Z6 g% B/ a( W0 k" r! W+ q$ B
    再由(31)式计算出主成分估计,即可获得如下主成分回归方程
    - V0 C) Y1 W7 X: Q! n3 O! g0 u1 x8 b8 O/ B2 Y$ {
      S5 C- K7 r7 Q7 C
    3 X7 w' B3 X  l, m) ^1 p) u
    两个方程的区别在于后者具有更小的均方误差,因而更稳定。此外前者所有系数都无法 通过显著性检验。  计算的MATLAB程序如下:
    8 d5 F* |8 o7 K- P% Iclc,clear
    % c1 Y, @5 a! U) m9 \8 {load sn.txt  %把原始的x1,x2,x3,x4,y的数据保存在纯文本文件sn.txt中 " H$ s" m1 u0 S) Q, g3 U2 u# ?
    [m,n]=size(sn);num=3; %num为选取的主成分的个数
    / B- V" R+ u) A  S$ ]7 C+ z' mmu=mean(sn);sigma=std(sn);
    9 S8 ?( O/ a  J% Wsnb=zscore(sn); %数据标准化 3 j" g/ i, {+ r4 C) ^7 H" _
    b=snb(:,1:end-1); %x1,x2,x3,x4的数据赋给b 6 [/ v. L+ t) G4 O4 ?' t9 G+ ?
    r=cov(b);  %标准化数据的协方差阵就是相关系数阵 : x' h% p" L) w' a
    [x,y,z]=pcacov(r); ) _+ o' S% y& Z* N8 W
    f=repmat(sign(sum(x)),size(x,1),1);
      p% N2 N) ?4 `* V$ C1 R6 [x=x.*f;
    $ Z" C4 [% O4 P* `1 w%以下是普通的小二乘法回归
    " V- p0 y7 T0 x3 _) N6 Mr=[ones(m,1),b]\snb(:,end);  %标准化数据的回归方程系数 ; Q# P1 z# j) a9 U8 i
    bzh=mu./sigma;
    ! M& t' I% f3 G! I0 U; _- ach10=mu(end)-bzh(1:end-1)*r(2:end)*sigma(end)  %原始数据的常数项 & A% K1 u  }0 B! E) x9 V0 N
    fr=r(2:end);fr=fr'; % p& N- z9 [* M) H% r% z
    ch1=fr./sigma(1:end-1)*sigma(end) %原始数据的x1,x2等等系数   i6 o* U3 ^' u; h8 h
    %以下是主成分回归 $ ]. C8 L! ?0 d5 ]4 q
    pval=b*x(:,1:num); ' X# \5 e1 C  E/ U/ x8 z. s$ T
    rp=[ones(m,1),pval]\snb(:,end);  %主成分数据的回归方程系数
    6 C9 z$ K4 e4 k4 y- ~5 R' Sbeta=x(:,1:num)*rp(2:num+1);           %标准化数据的回归方程系数
    8 r& ?8 D0 a- y/ rch20=mu(end)-bzh(1:end-1)*beta*sigma(end)  %原始数据的常数项
    : c. A) `5 W6 c# P4 Ufr=beta';
    0 Z% |- Q; ~4 P" i( d+ ych2=fr./sigma(1:end-1)*sigma(end) %原始数据的x1,x2等等系数
    ' C2 M. r  Q8 b4 _0 Mcheck1=sqrt(sum((sn(:,1:end-1)*ch1'+ch10-sn(:,end)).^2)/(m-n)) 2 w" [/ \5 q; {) E/ _) |
    check2=sqrt(sum((sn(:,1:end-1)*ch2'+ch20-sn(:,end)).^2)/(m-num-1))
    ! W5 U( P2 J$ K7 o
    ( Y7 a0 x# T% H( j3 C+ o6 ]! i7 [" |3 b& A
    ————————————————
    5 M, a) M# T6 G  x版权声明:本文为CSDN博主「wamg潇潇」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。& k, I3 f1 c4 E
    原文链接:https://blog.csdn.net/qq_29831163/article/details/89577292( N; I' |0 Q# s4 k
    7 l" J& i0 @5 M: Y' e4 r2 W
    - f; \( S! N% H% s! ^/ k
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-7-30 10:05 , Processed in 0.445797 second(s), 50 queries .

    回顶部