数学建模之回归分析

杨利霞

  U- J9 Q4 o& ~) T& }. t

数学建模之回归分析

* {% g; S# ~2 j; {1 [+ `, m2 `应用场景
1. 建立回归模型
1.1 筛选变量
- h8 M8 ^9 I) }' h1.1.1 确定样本空间
. I7 d! h4 Y5 E" e& s8 `1.1.2 对数据进行标准化处理
& L, ]+ n3 e4 w5 X+ E" g1.1.3 变量筛选
1.1.4 调整复判定系数
1.2 最小二乘估计
2. 回归模型假设检验
3. 回归参数假设检验和区间估计
4. 拟合效果分析
7 A8 U8 Z0 ~* {+ ?4.1 残差的样本方差(MSE)
4.2 判定系数（拟合优度）
: K6 {# G! ?/ z' f0 T5. 利用回归模型进行预测
1 D$ t& H, G. R  N1 t5 b其他
- e  Q& Z4 v$ u) k' g  N: T  n偏相关系数（净相关系数）
复共线性和有偏估计方法
- n5 v$ k, ]& K  G% F) O9 l小结
  K  M% w! ]& V) R7 N- u1 ^/ M应用场景

& N/ j& ]2 W& o/ d2 M( J0 ]) \4 x简单地说，回归分析是对拟合问题做的一种统计分析。
  F1 \- b' g. _2 D1 B7 tP.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
. T6 `" U, n/ O0 o  i
具体地说，回归分析在一组数据的基础上研究以下问题：
- H/ _! t7 n4 A. l, N8 F6 S
: h# m( c- X/ L0 V3 P1. 建立回归模型

, F3 P! I0 ?2 L+ U1.1 筛选变量
6 m) G2 ~! J3 C3 z
- p/ k3 w( h! e1.1.1 确定样本空间


! u% i1 f: w. Z2 p所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。
( q; Q1 n( m, |  A  e# c+ F. z
1.1.2 对数据进行标准化处理
% X4 L3 _! A" N7 r+ h4 f
3 [; i. q9 S# F  W  ~（1）数据的中心化处理
实际上就是平移变化，
2 l& r( D6 O+ F% H1 L, k
+ i4 j1 H: g* ?
这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
4 i( P* a( {( H（2）数据的无量纲化处理
在实际问题中，不同变量的测量单位往往是不同的。
为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
) O" t' B. E1 [# N即，


' {6 l; o- n" y4 Y1 I当然，也有其他消量纲的方法，此处不一一列举。
% r8 F7 x. x( R: u1 v* d（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
! g. g3 v8 U" w- H. z5 b3 j即，

" k! m( p! F, B$ L8 L
1.1.3 变量筛选

——选择哪些变量作为因变量的解释变量：
! I! ?# ^8 X- a: \) K
一方面，希望尽可能不遗漏重要的解释变量
% f+ i7 q7 ~0 i9 m/ g一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
（1）穷举法
( Y' R' G1 [( i! q8 C列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
m
' V1 Y+ ]3 a3 u( |​       
——当m mm较大时不现实

（2）向前选择变量法

  |$ I. x& Y, ~, c) B! c$ G' X# W" ~! _



0 F9 Y7 o, _) x4 S
7 s5 {$ o. c/ L3 j（3）向后删除变量法
9 V) @1 o0 H+ P5 H( u4 b9 z, m4 N
（4）逐步回归法——最常用
& v$ r" [( I: w, U4 S6 {/ Y" @

5 i" i0 |: ~$ a3 A- i% X2 |8 g1.1.4 调整复判定系数

1.2 最小二乘估计

" ?, i. V8 Y! o$ P一元线性回归、多元线性回归——略。

8 R5 [# J4 u4 b$ I  W. I1 F6 r2. 回归模型假设检验
. F$ W9 Z4 P1 G4 f6 R" ?" x
  |" F" c* i% f0 N3 w4 F——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）
; [5 Z( K5 Y3 \! O9 F9 f
0 u$ Z7 I# n9 ^! [. P' h) }) f/ t) S具体检验方法见书，此处不再赘述。
  ]6 m8 i# j( t% x  U! E
4 t1 M! |4 Z( o3. 回归参数假设检验和区间估计
) X) L/ s# o' J, N. O
——检查每一个自变量对因变量的影响是否显著（t tt 检验）

8 @# N8 b/ a( c( t8 W1 v4 H$ M具体检验方法见书，此处不再赘述。

4. 拟合效果分析
7 |& M5 n" Y, Y# t
4.1 残差的样本方差(MSE)
+ u& \1 b9 H" N) c* B$ o" j, f! b
3 |/ i6 J7 ?9 w
4.2 判定系数（拟合优度）
. A: M0 }. I- o
4 a/ Y7 C! H7 ?: U# m/ T

' u( }# A7 f4 F5 P5. 利用回归模型进行预测
7 K: V/ i; u4 y
" ~) U* P- _  R- w5 n; x
& ^6 r- t( h+ J& D$ p; \: V* d1 f* e
* g( s' m$ d1 A6 E其他
# b0 V8 h- r( P& _1 R
) q3 c6 {: z+ W6 ~) Q' `5 P偏相关系数（净相关系数）

在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。
  l' f0 q& L3 u- r/ B
复共线性和有偏估计方法

在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)
/ D, D( f" k$ H% `( z
解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
  [% Z0 W4 N) l+ U! v% ^3 }( K（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
* ?; [7 v/ Z' C1 n9 B$ E4 t
再如，主成分估计——可以去掉一些复共线性
* Z$ s. o: _- K9 @
, E, \9 w4 w5 a7 y9 h小结
* ?* N, a7 r8 p9 \* `# a/ K2 ]
* f6 j& E; h% L. C采用回归模型进行建模的可取步骤如下：

% \" K, B5 p/ [( ^建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
9 Y& b( b' m( m+ i$ ?原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
$ s" h4 K1 G/ R2 A; J
: V( B1 [  _( H/ P& b
# B2 |: L3 A& O6 d# v8 d" ~2 ^% Y