数学建模之回归分析

杨利霞

$ c4 `) y$ J: V; Y7 a% Z% P
( y$ y% E9 l3 W

数学建模之回归分析

+ }; O9 w* y) H) Q) i
应用场景
1. 建立回归模型
8 |/ g  f) r" q  V* P, D7 y1.1 筛选变量
1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
1.1.3 变量筛选
2 y- m: Q' F. M5 R% m) N9 W/ s% v1.1.4 调整复判定系数
1.2 最小二乘估计
8 c* u* f1 {$ c! z. w( I2. 回归模型假设检验
% X" S7 e- s0 `6 w* Q0 I3 w& p% f3. 回归参数假设检验和区间估计
& @* N0 J. y4 z7 F4. 拟合效果分析
# Y7 g/ y. I* w: m1 c4.1 残差的样本方差(MSE)
4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
其他
偏相关系数（净相关系数）
复共线性和有偏估计方法
3 {# }5 G" l* r* s% }: Z- n4 D7 N小结
应用场景
& u5 U# e/ Q' U8 F. k7 ]" C
简单地说，回归分析是对拟合问题做的一种统计分析。
& J. u/ U" b2 u, Q% X3 oP.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
: j, a$ z0 F! U5 y1 \/ S
具体地说，回归分析在一组数据的基础上研究以下问题：

1. 建立回归模型

1.1 筛选变量
& ~2 k7 z8 {  D
! C, n9 g1 S2 L: C; X1.1.1 确定样本空间

$ }) @" M  t' C+ ]' \" N
. Q1 P( Y2 T- L  ]$ E3 S8 o所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

! q( B8 }/ y- o* o! s2 U. Q. y6 R! r1.1.2 对数据进行标准化处理

（1）数据的中心化处理
实际上就是平移变化，
% ~- ^" d" i) B' m  L# X' Q
: b+ P( k  d. i  h9 N
  P8 v9 M+ }: n4 N这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
（2）数据的无量纲化处理
! M0 n& L6 x2 i: P1 D# w' i6 p在实际问题中，不同变量的测量单位往往是不同的。
* X0 \7 u5 [, R/ H3 D3 I% Q! K% R为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
6 n. G! e- _4 N8 Y! |; y4 W( b# J即，

! K+ w( I/ b" _* D0 u& Z  j
0 R( u5 K/ E( |6 g& k当然，也有其他消量纲的方法，此处不一一列举。
) e+ U+ E/ g% W, L（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
1 T; E$ n1 ~2 I1 \- ^即，
) I6 X8 O( v+ C: p0 ?; [! B6 x- n: `

3 ?& D$ \% |+ c4 Q3 K) D1.1.3 变量筛选

4 G. b' F0 E8 {/ V0 r! n( A1 t9 J——选择哪些变量作为因变量的解释变量：

& `( F  N8 L2 Q8 G# D' Q一方面，希望尽可能不遗漏重要的解释变量
一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
( n9 K0 s3 h! p: e" {（1）穷举法
列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
& V$ H; i' O$ L7 y/ T) q8 G; N假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
& P5 N, z; u1 [1 @$ r8 @m
1 P) _" n3 w3 c& s! u​       
1 p: u4 E. Y9 i2 r7 M0 u ——当m mm较大时不现实

（2）向前选择变量法
+ {# h  O. g& e' O
( }. }/ @. Y& W( a+ @  A




( @% Y7 r! Q4 }（3）向后删除变量法
$ Z" E9 L  p3 C) B; k# V
2 s7 \. _9 H3 c0 _: F# l! t; W, g- @（4）逐步回归法——最常用
" x3 O9 ^6 h  Y% o1 i6 o

0 x; m7 v) z0 z0 T# a8 Y1.1.4 调整复判定系数

' Q* J/ b1 U( C$ r2 q) U* F! Y1.2 最小二乘估计
0 ?$ \6 y1 G; t' [- ~" t
一元线性回归、多元线性回归——略。
9 m+ r7 d  X4 w3 I
* @5 G% O0 X9 }* d, o3 L2. 回归模型假设检验
3 @: Z1 L: J. O  p8 \- q
6 D, [7 ~9 Y2 j, R% z——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

具体检验方法见书，此处不再赘述。
! {- z) l" ~, I8 Z1 K; V
2 a9 V5 K; F( S/ @6 @3. 回归参数假设检验和区间估计
# v$ E" Q+ ?! A  L
' U" ]$ E; L8 N( H4 b6 [——检查每一个自变量对因变量的影响是否显著（t tt 检验）
  v  `1 h* z* N3 G3 V; @
具体检验方法见书，此处不再赘述。

4. 拟合效果分析
7 l& a- J3 \) F8 B8 @( E5 R
4.1 残差的样本方差(MSE)


2 s. R2 ~& J$ N  h0 a6 r$ T0 @5 o0 `4.2 判定系数（拟合优度）

2 w5 Q2 m; I1 I% t! W
* h) i, K* j8 `$ H1 @. V+ b& A7 K
5. 利用回归模型进行预测
+ @) S# [) ~; ~" G. ^( ?1 }
- c* L% e' B5 X; A9 J0 i7 i/ N4 q

其他
/ {; [, f0 d0 a7 z
偏相关系数（净相关系数）
0 b9 a% c4 @( i) ~. r' z
% X4 O# o" i( s+ @, O% v: @在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

+ ?: i2 S* l7 M) N7 j$ v* n0 ~0 I复共线性和有偏估计方法
' C# E- e( K! _
% i' m  F7 Z" |( Q在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)
0 B: W1 d0 F& J9 a& s
解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
- f3 D1 \; R% V1 A) X（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
7 j" v: N6 I' _. l
再如，主成分估计——可以去掉一些复共线性
$ q6 O  Z# |" `
" ~1 I, ?7 k3 {6 s: V$ X  L  u小结
1 r/ R# X% ?5 k: m1 A& |
( J  @4 F# ]- H0 [+ W采用回归模型进行建模的可取步骤如下：
$ k& H2 _/ d  K
' u- A5 B! x0 g% I建立回归模型
8 M& ^* b; K, k确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
' f7 K" ^- P3 Z+ l* L* S1 a8 }! @原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
5 Y. x, N" X" A+ I
* V2 a. I  P/ V8 [7 M% j2 ^; b