数学建模之回归分析

杨利霞

数学建模之回归分析

! ?1 }4 g0 w: h, V. _' R
" [# w6 B# g9 O2 ]3 Q" Q应用场景
1 x/ r  N% \9 e8 k' O  x2 ]5 a1. 建立回归模型
1.1 筛选变量
1.1.1 确定样本空间
' \( P$ O, C8 m' q7 {  y/ g1.1.2 对数据进行标准化处理
9 D7 }7 K) Z0 @' u1.1.3 变量筛选
1.1.4 调整复判定系数
# \5 J' T1 N9 [, {, `; W1.2 最小二乘估计
  j6 ?" g; c2 d& n3 g! Y2. 回归模型假设检验
3. 回归参数假设检验和区间估计
4. 拟合效果分析
7 s3 K: i4 r' @5 d" X4.1 残差的样本方差(MSE)
( c# z$ z! O4 ?4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
其他
偏相关系数（净相关系数）
; s. s( H* p8 e6 ~3 p复共线性和有偏估计方法
! E* G8 p# C: J5 o小结
应用场景

4 \, K( c7 X7 z! P7 w简单地说，回归分析是对拟合问题做的一种统计分析。
! ]5 M5 c6 b6 o: o2 r4 L6 Z) L7 fP.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。

5 p9 `- N8 G( e1 f具体地说，回归分析在一组数据的基础上研究以下问题：
/ F* V8 a/ x  G: m) ^
1. 建立回归模型
1 p' M# J4 S4 `1 W
1.1 筛选变量

- g/ L- R! v9 ^! U2 f9 R+ C1.1.1 确定样本空间
/ R9 d5 p. k7 y' z

所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。
3 Z: Z6 y0 J9 O, _
8 M. l6 Y/ e& ~# ~( L0 K1.1.2 对数据进行标准化处理
9 ^: f. o" B6 q: k: Q
: I2 T. Y4 d# t. Q8 @6 m* I（1）数据的中心化处理
实际上就是平移变化，

" R: f% M3 ?0 ^# ~. D, i
6 t# g! l$ x4 g+ }* e4 K: s* j这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
（2）数据的无量纲化处理
1 M* ^7 x* _) a: v) e在实际问题中，不同变量的测量单位往往是不同的。
为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
即，
" _, H% j+ z, I# z8 O
- ?; \# R6 _+ Q% o- Y% ~
2 R, c% j$ T0 n1 y1 ?当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
即，

. @0 D3 K5 `7 W  N
1 g4 w$ t5 y6 V0 M. j: _% T4 X1.1.3 变量筛选

3 {) N& {* u1 v: O4 n  U' @——选择哪些变量作为因变量的解释变量：

一方面，希望尽可能不遗漏重要的解释变量
, U3 ~% S' [# s$ f; Q0 ^6 |, t7 z一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
（1）穷举法
& g9 D' V: p8 w* V# b列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
m
! o! y3 l" g. Q  ^) Z​       
——当m mm较大时不现实
! R/ J3 G% i$ i0 h& Q
: s0 ~; g6 t- m7 W- F* T# R6 _（2）向前选择变量法


* J4 O) d1 t% [, V
: }" A; h0 g5 F% T5 c


( ?1 ^. H5 I" w( @1 A+ f, L（3）向后删除变量法

（4）逐步回归法——最常用


1.1.4 调整复判定系数

  g9 x) O8 W( w9 d5 i8 \5 z, n& i8 U1.2 最小二乘估计

一元线性回归、多元线性回归——略。
# O" l: u1 `: H/ ~% k& k# `
2. 回归模型假设检验
5 H$ q1 P$ O4 M# o4 R5 o" F6 y
1 a6 n+ `' b& O/ O( D7 P——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

) v) s" d8 [) ]/ h1 [0 l具体检验方法见书，此处不再赘述。

3. 回归参数假设检验和区间估计
- g% Y' k* \# A
( ^7 A+ D4 M8 A) X; E& V9 d——检查每一个自变量对因变量的影响是否显著（t tt 检验）
* T1 o3 r5 l) }: a, p" ^, [
5 y4 D) k' J# c6 _/ F) {8 X# n具体检验方法见书，此处不再赘述。

4. 拟合效果分析

4.1 残差的样本方差(MSE)


4.2 判定系数（拟合优度）


7 U& S1 D' g) `# g% i5 y0 o  ~
+ H; K5 J8 O* r2 C, |9 K" r9 w5. 利用回归模型进行预测



其他
- y" W& Q0 e0 I( q: T5 s0 a& `5 K% U
偏相关系数（净相关系数）

在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

8 m4 h# J! r' [4 o4 h复共线性和有偏估计方法

在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

- v" ]# H6 K4 @解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
- N, ^0 u9 U1 C（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）

( T" a* u& z, x! S& l7 X8 ~再如，主成分估计——可以去掉一些复共线性
  {: a+ a8 Q, o
小结

( `1 ]' c7 f* B采用回归模型进行建模的可取步骤如下：

建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
$ s( P! `0 D/ ^% f2 ?$ `) i