数学建模之回归分析

杨利霞

9 X/ i, L/ V; J. P, G+ ^; d2 T

数学建模之回归分析

/ c+ W7 {* @; Y' g/ E: r! N5 p: V
应用场景
6 K3 A. s4 {: |! z6 y( T1. 建立回归模型
; i2 W8 F  _# x+ n& b1.1 筛选变量
1.1.1 确定样本空间
% O. S7 _& P6 p2 y6 ^3 m1.1.2 对数据进行标准化处理
1.1.3 变量筛选
2 F5 ?2 r8 H. g$ F1.1.4 调整复判定系数
1.2 最小二乘估计
2. 回归模型假设检验
3. 回归参数假设检验和区间估计
" i7 ~* C7 c! }  c$ {8 t( c! V2 F4. 拟合效果分析
9 ^/ T& H3 i% L  |0 v8 d  A4.1 残差的样本方差(MSE)
" J5 _* T& ^! l4 B( N) U4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
7 W1 g$ t) X7 I  H( W, ^其他
偏相关系数（净相关系数）
复共线性和有偏估计方法
小结
- a1 S* ^; h) y! R应用场景
& b+ x( t6 F5 _/ o/ E
! K' V( Z  |* `9 Q  z# _: X简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
( \: B3 M. y; {* A
4 Q2 l+ `: s% i! _: O- U0 D具体地说，回归分析在一组数据的基础上研究以下问题：
! a5 H( b$ d4 r$ v% g
4 M" N3 d; @. u' U1. 建立回归模型

* p' S) C  v# N+ o1 }/ y. y1.1 筛选变量
2 d" U# ?8 }& f0 h
: Q7 F: e. T$ C2 [. @4 @3 z# i1.1.1 确定样本空间

" ^  a5 c" L4 h
所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。
# N% j5 F0 P: i4 k( H8 U
1.1.2 对数据进行标准化处理

（1）数据的中心化处理
实际上就是平移变化，
1 \; f2 m7 Z! f0 y' H$ P0 ~7 Z
% Y* [' N/ Q: c: V  B
" Y; ]% R+ j$ C: v" y8 d这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
（2）数据的无量纲化处理
3 v4 x: f+ c& I0 u- P在实际问题中，不同变量的测量单位往往是不同的。
" q# y: O" K  o9 ?$ W为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
即，
0 _4 w: u+ o. ?2 }' I- t

当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
即，
6 d' e1 `; {* {5 \# v

9 ?! P: |; m2 u/ P1.1.3 变量筛选
0 X- Q) `. _1 `+ ^0 B4 }
1 }- Q6 o: k4 Z——选择哪些变量作为因变量的解释变量：

一方面，希望尽可能不遗漏重要的解释变量
一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
（1）穷举法
' B% w" Y4 U, G& y列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
m
​       
( E8 t1 _. d; ]. v0 `3 Z$ Y ——当m mm较大时不现实
$ q& d1 s0 I) m- I& t+ [% E
  o4 }5 c7 H3 E: S  {（2）向前选择变量法

4 E1 @) R! _0 i

1 v5 u( i$ X$ j. E* r; w) y


0 A6 D( @0 w) f, D. k2 Q% J: f+ F（3）向后删除变量法
! W; }7 [. {- P: M6 ]
（4）逐步回归法——最常用
' J# G+ k" C7 L4 ^3 n& d& r' V
/ m4 L) p8 A- ?( R
1.1.4 调整复判定系数
, t4 _* `' ~4 l8 s+ v
2 c& H) y% Z. G. V1.2 最小二乘估计

1 h/ U" p' s" d! P7 s一元线性回归、多元线性回归——略。
! C2 E# E) E0 `( z
0 ]1 b' J( }! G. R6 k  ~2. 回归模型假设检验
+ a" ]& q( g# n4 n, h
——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）
! q# Q  P$ T/ C7 L) Y
具体检验方法见书，此处不再赘述。
. ~( j* Y, q0 T7 ~1 P% f
) K6 E) k+ }2 F( D3. 回归参数假设检验和区间估计

——检查每一个自变量对因变量的影响是否显著（t tt 检验）
5 J5 }) H0 \2 X8 @' r4 t
具体检验方法见书，此处不再赘述。
+ d- s7 r7 W/ m9 {
4. 拟合效果分析

4.1 残差的样本方差(MSE)


# ^* a, M9 W8 r: o" N4.2 判定系数（拟合优度）



5. 利用回归模型进行预测

- @+ p( g* R% j9 G

其他

偏相关系数（净相关系数）

5 r  C' C' O' H' N0 ^/ P在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

" h" }  ?+ B& _5 g5 o" z复共线性和有偏估计方法

在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
. i) M0 c/ {/ G# h$ ?; r/ {例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
& a5 H9 a, l  I) E+ ~7 d（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
, J/ ^8 b, ]0 ]0 p4 E) H1 J* ]5 h
再如，主成分估计——可以去掉一些复共线性

小结
( y0 J  A# w' n% I; _& c; }
; j* @5 z3 A! s5 r采用回归模型进行建模的可取步骤如下：

( Y, L6 K% T/ }* O: ^1 w建立回归模型
8 c4 X# N$ P- e; D" w1 D& K2 _6 w- B确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
8 a; T5 f1 C7 L" N7 Q9 g8 s: J原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
9 b& Z0 v7 _8 {' p8 w6 y
3 t& p7 @5 \' c  i& b3 B  T# x