数学建模之回归分析

杨利霞

# W/ \2 C  b4 p2 o$ j

数学建模之回归分析

应用场景
1. 建立回归模型
1.1 筛选变量
/ @+ n9 z6 V. x# Z* L; x% y/ ~4 _* N1.1.1 确定样本空间
% ~& X3 T. T& P1.1.2 对数据进行标准化处理
1.1.3 变量筛选
1.1.4 调整复判定系数
" i+ z) ^7 x9 `( o+ t3 A- t1.2 最小二乘估计
$ t' U% C( i2 u2. 回归模型假设检验
3. 回归参数假设检验和区间估计
1 s  m4 j4 y) {, J# s4. 拟合效果分析
  g3 j) u& Z1 i9 P# ]4.1 残差的样本方差(MSE)
6 S# g, R( j+ Y: x8 U# ?4.2 判定系数（拟合优度）
/ m. g! v, w& O5. 利用回归模型进行预测
其他
. e' d4 a3 [0 i( ~# n8 B, S. X偏相关系数（净相关系数）
复共线性和有偏估计方法
. w/ a. N* b' e2 o9 Y$ k; \4 O小结
应用场景

8 j: N* t9 k* |3 D8 t6 G( ?2 k( T简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。

2 L* v. j' E9 F8 d5 q1 c( B6 T具体地说，回归分析在一组数据的基础上研究以下问题：
+ M. @. V: \: [# L5 R% T4 Y8 {
1. 建立回归模型
; a. O. _4 W2 O( r; G; V
& f# F! v" l; t( Q2 ]1.1 筛选变量
6 p+ y& J" r. j% |7 N. o8 K5 v
+ n. C4 ?7 H) r+ r( n1.1.1 确定样本空间


( m% W3 A, @2 i6 K所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。
* X. _! D" p! X5 K  _
4 M5 V+ R5 n# Z, `& ?" ?1.1.2 对数据进行标准化处理
" U# `* p4 G1 }0 l6 Z
9 L. T" c2 m0 M: k/ d4 k6 y（1）数据的中心化处理
实际上就是平移变化，
* V& [8 {, g$ w* Y

. I/ B6 e) ~( w: w5 u. |这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
1 |' X& U2 X. Q（2）数据的无量纲化处理
在实际问题中，不同变量的测量单位往往是不同的。
' c2 `4 E7 B5 Y* q为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
* ~( f) B; h% g& l即，


当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
. r# K. t5 @! y即，

9 C5 b, V& f+ }0 j( l/ O8 L: p9 u
% G( P, y& y* R8 W& @2 Z8 i1.1.3 变量筛选

: N( f, A2 i5 F' E  J% e1 X——选择哪些变量作为因变量的解释变量：
8 b! f  ?% z' E5 B9 g9 G7 A  o7 ]
! G" I8 E5 k5 `/ {0 B一方面，希望尽可能不遗漏重要的解释变量
6 u  Q+ R  U9 c' W. g一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
) V4 }  A9 _! R) }1 C1 ^（1）穷举法
列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
m
  x4 y- ]- e& A% p9 ~! M​       
——当m mm较大时不现实
4 T, m2 f" l6 z# T# o, j4 E2 B
/ T# k- S- S$ j5 E1 F2 n（2）向前选择变量法
/ u/ U1 [/ B- m5 W  ^, J


* o( [5 A$ ~" p; x
/ Y2 p; R7 d# p+ \
6 `7 W' i  \! B% b  r% p$ L
（3）向后删除变量法

（4）逐步回归法——最常用
0 ~/ |% U2 \+ e$ c  l: t* X* y8 c
. @2 {  q# H- ~* s2 C8 [
! R* B+ \' w: Z1.1.4 调整复判定系数
$ s- y9 t% j$ @2 V! H. `$ ~0 H
2 L- c* u! t3 p( c- ~2 c1.2 最小二乘估计

# |- ?' F- {3 O: O+ q# l& X一元线性回归、多元线性回归——略。

$ w: {& N+ k( o: v' K2. 回归模型假设检验
2 O  _, k/ D" n. x
" r4 p' M0 ?9 i1 D) u——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

- i  p. d& V  M- ]/ X具体检验方法见书，此处不再赘述。

' T& q( X% f; f4 d3 ?& P8 ]3. 回归参数假设检验和区间估计
2 O& L- e# ^  Q+ }+ K  c
——检查每一个自变量对因变量的影响是否显著（t tt 检验）

具体检验方法见书，此处不再赘述。

4. 拟合效果分析
, b6 x4 n0 i* i  g8 s
4.1 残差的样本方差(MSE)
6 ^7 G4 U. c) F" u; s. }

4.2 判定系数（拟合优度）


' g& l# T4 N; T
3 |9 h& B" a- ?9 Z% A- d5. 利用回归模型进行预测



其他
% L3 c8 Q: v7 r% N4 Z4 y
偏相关系数（净相关系数）
* p1 t$ Z0 v& X& h
在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

复共线性和有偏估计方法

) ?6 e+ c2 [* Z) W# X! |7 r在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)
5 v# e) q* _: V9 l5 f
/ y- v1 z' K) ?; c5 u/ b! m; \# a解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）

再如，主成分估计——可以去掉一些复共线性
  N+ t. m3 C1 _  U( b
9 {2 Q$ B6 S) L6 g' u, P小结
' R- E  b/ l: K# [3 |
采用回归模型进行建模的可取步骤如下：
* D" S, v! g" n4 g3 I6 b1 P" J
建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451