数学建模之回归分析

杨利霞

- [! c1 y; {/ m; G( `9 G' T
- C: Y, {& I# E# Y: W% T

数学建模之回归分析

应用场景
1. 建立回归模型
1.1 筛选变量
1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
- c7 E: }- {/ F" A1 K# J$ ^2 H! F8 w1.1.3 变量筛选
/ A" P# t9 C8 A; i1.1.4 调整复判定系数
1.2 最小二乘估计
2. 回归模型假设检验
  o: ~# g  u! X3. 回归参数假设检验和区间估计
4 m' M1 ^3 G, v, h' u4. 拟合效果分析
4.1 残差的样本方差(MSE)
; @5 N5 X4 k' P: ^5 Z  [4.2 判定系数（拟合优度）
- x$ e" ^( s+ l+ x) E# M! i5. 利用回归模型进行预测
其他
偏相关系数（净相关系数）
& ~- q1 m3 R% E/ F/ f复共线性和有偏估计方法
小结
: a* q# \' w: ~* t+ x0 R# M- M应用场景
+ x: R3 m8 v" B% T  b/ ]
简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
; c+ Q8 l: a8 a# a) h$ e  L! I  F
8 i7 s0 X- V( }# m具体地说，回归分析在一组数据的基础上研究以下问题：

" T& X2 |% ~% u2 r" c6 C1. 建立回归模型

1.1 筛选变量

1.1.1 确定样本空间
) y$ h- A+ z; w9 Q/ K/ V, k
1 G& `9 p- L. c' P" v
所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

1.1.2 对数据进行标准化处理

- Q# n% H# p0 [! d! |' I, o（1）数据的中心化处理
" D; Y7 x! T5 H+ k" C1 u实际上就是平移变化，
* B4 `7 o  \1 L! Y. ?0 B  M

这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
1 k" B$ b( i: Z$ e（2）数据的无量纲化处理
在实际问题中，不同变量的测量单位往往是不同的。
为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
; [2 U" K2 p  p9 Z0 c) M# A* I  j即，
4 k  _/ a! J& z
/ M# R( w+ a. B& `7 M
2 _* X! o' [1 Y当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
即，
, }1 L, a$ N, C& R2 I
) Z( C( q7 H/ ?& j
1.1.3 变量筛选
8 a& }* }  N5 j8 u2 g) l: o
5 t/ Q& I7 N1 O; D: ?——选择哪些变量作为因变量的解释变量：

' j% n/ _& s$ {2 o一方面，希望尽可能不遗漏重要的解释变量
: g7 |  i: q' I+ {" @一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
（1）穷举法
' S  a) ]8 O7 q: S! p% h4 P) x0 v列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
1 \: U$ l8 P* E5 m5 Y; ~* lm
​       
——当m mm较大时不现实
/ V' A6 i7 b9 R- l$ k
" N7 a6 y. i, s/ v0 X（2）向前选择变量法

  _. D8 Z# F; W# @5 f3 N! M
' e, A8 W( L6 y! t! X8 U



" S% R. ?8 ?% A2 u4 i0 y（3）向后删除变量法

（4）逐步回归法——最常用


/ S2 \  D# U2 N% @$ U. T1.1.4 调整复判定系数

6 o8 U  l" g* {4 B3 x; S5 L& Q1.2 最小二乘估计
; Y6 C8 c( B$ H2 B' m
一元线性回归、多元线性回归——略。

7 k3 U$ o  }% A/ ?2. 回归模型假设检验

——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

具体检验方法见书，此处不再赘述。
3 P8 c9 d$ G' N9 u' {
3. 回归参数假设检验和区间估计

& `: ]1 q9 i$ I6 }/ i) I8 q5 F7 ]/ r——检查每一个自变量对因变量的影响是否显著（t tt 检验）

- z0 H: W: b/ T具体检验方法见书，此处不再赘述。

4. 拟合效果分析
/ L' P  \4 M8 `" T2 u
4.1 残差的样本方差(MSE)
& h6 ]2 K4 N, g( x) q1 ]) P

4.2 判定系数（拟合优度）
: |/ z; I1 \2 I8 _" G; a

" e0 ~0 `% v& ~$ [6 n
5. 利用回归模型进行预测
9 d8 w* f% ?1 m2 x) k' d' w
3 ^1 y8 I& V0 P" w3 p- V) V
2 C% Q6 w' ]$ L! x& Z
其他

偏相关系数（净相关系数）
5 ]: p& L* N3 _7 D, W1 e, b1 ~
$ ]* a& I7 T5 R) w& g' B- q. i在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。
' b7 Z2 ?' J6 \& o
复共线性和有偏估计方法

在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
, Q& I, y3 ?6 l（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
( v1 D4 H: _( g1 p
再如，主成分估计——可以去掉一些复共线性
7 a/ C( S* _; m1 y; u, _: j% A
, z" [. A4 i0 g( t% B小结

3 Y" K3 f% W: h* _  q0 p  t采用回归模型进行建模的可取步骤如下：

建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451