稳健线性回归中再生权最小二乘法的有效性研究

雩风三日

稳健线性回归中再生权最小二乘法的有效性研究
4 ?) `  H! [. @( K9 m5 g

  }6 I' E' ~5 ~/ ^& V9 J! A+ Y

    统计学家指出，在生产实践和科学实验所采集的数据中粗差出现的概率大约为1%~10%左右。线性回归分析作为处理变量与变量之间关系的数理统计方法，通常由最小二乘法(LS)估计求解回归方程的回归系数。由于经典的LS估计对每个观测数据都给予相同的权重，由此带来对粗差(异常值)的处理不当使回归系数的估值产生较大偏差，从而影响了回归模型的有效性。随着稳健估计理论的提出和发展，许多学者把稳健估计理论引入到回归分析模型中，提出了稳健回归的概念，并指出稳健回归能有效地消除或减弱粗差的影响，具有良好的抵抗粗差干扰的能力。然而，不同稳健估计方法消除或减弱粗差对回归系数估值影响的能力不同。葛永慧教授提出了一种新的稳健估计方法一再生权最小二乘法，并在水准网和测边网平差中进行了仿真实验。结果表明，再生权最小二乘法能比其他13种常用的稳健估计方法更有效地消除或减弱粗差对参数估计的影响。

    本文将再生权最小二乘法引入到稳健线性回归模型中，并说明其在稳健线性回归模型中的有效性。首先本文以一元线性回归模型和三元线性回归模型为例，根据再生权最小二乘法的基本原理，导出再生权最小二乘法一元线性回归模型和多元线性回归模型的有关计算公式。其次采用仿真实验的方法在观测值中不包含粗差，即粗差数值ε= 0.0σ0。时，对含有不同观测值数量的一元线性回归和多元线性回归(二元至五元线性回归)进行仿真实验，通过计算并比较再生权最小二乘法和其他常用13种稳健估计方法相对于LS的平均相对增益，说明再生权最小二乘法和13种常用稳健估计方法相对于LS法的精度损失。最后对含有不同观测值数量、粗差数量(1-3 )和粗差数值(5.0σ0和10.0σ0)的一元线性回归和多元线性回归(二元至五元线性回归)进行仿真实验，通过计算再生权最小二乘方法相对于LS法和其他13种常用稳健估计方法的相对增益，比较再生权最小二乘法、LS法和其他常用13种稳健估计方法消除或减弱粗差对回归系数估值影响的能力，说明再生权最小二乘法在稳健一元线性回归模型和多元线性回归(二元至五元线性回归)模型中的有效性。

    结果表明:再生权最小二乘法比其它13种常用稳健估计方法能更有效地消除或减弱粗差对回归系数估值的影响，是稳健线性回归模型相对更为有效的稳健估计方法。

关键词:再生权最小二乘法，一元线性回归，多元线性回归，稳健估计，方法比较