数学建模之回归分析

杨利霞

数学建模之回归分析

应用场景
1 E; q7 S0 i' ?6 q5 W& y1. 建立回归模型
1.1 筛选变量
" h  Q  k8 h- E% A8 @$ k9 c+ ~1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
3 k3 N; i) z+ @# M1.1.3 变量筛选
1.1.4 调整复判定系数
1.2 最小二乘估计
9 L; a2 n$ ~8 T* V1 A2. 回归模型假设检验
( I- M4 e; a* X3 N4 o4 ^3 q3. 回归参数假设检验和区间估计
4. 拟合效果分析
" W* E8 {3 _" n8 a! d+ u# [. p4.1 残差的样本方差(MSE)
8 n3 A: {. Z1 o4.2 判定系数（拟合优度）
1 m! C+ i9 K! d& E# r3 Q5. 利用回归模型进行预测
7 s1 Q) l3 d8 C! C) m6 D其他
4 Y" H9 I1 X3 W6 |偏相关系数（净相关系数）
, Y! |, n# o- ^7 @4 W% I4 ?复共线性和有偏估计方法
+ z* C6 g/ A. X+ d小结
应用场景
) x9 H3 _) C( u) n+ c4 S
简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。

7 F1 r3 `& J0 h6 O3 ]; }具体地说，回归分析在一组数据的基础上研究以下问题：
$ M- i# B+ z! V# K; N. m
9 v) V" X' J6 t  L* m; }/ D; n1. 建立回归模型
. x0 ?9 o8 L8 ?8 }% e' x! Z
0 P) @; r# `+ y7 e  w1.1 筛选变量

+ D) q' o4 W: R. _1.1.1 确定样本空间
+ n8 f! \0 ]+ B9 B* a" s  w) a

% X  k9 r9 K3 s' v5 f3 p所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。
' y( J0 R9 r, p
, U: N% k0 S: u  d6 u) W1.1.2 对数据进行标准化处理

（1）数据的中心化处理
$ O$ W* L9 j8 N0 p) d实际上就是平移变化，
8 J, E0 z4 b8 d4 H" _; d
6 B0 ]; L$ f9 }5 r7 y/ @  R
这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
（2）数据的无量纲化处理
在实际问题中，不同变量的测量单位往往是不同的。
0 t7 ]( Z8 I( {3 O. d3 z/ u) ~4 q为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
即，

$ U9 H0 v: u9 \
* X: o% A' H8 P8 _4 Z# e) n当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
0 D2 p% V/ B+ r5 z$ s. b即，


1.1.3 变量筛选

# P% ~- Q, S4 [. C. e——选择哪些变量作为因变量的解释变量：

2 I, H) |# n+ N2 T# T一方面，希望尽可能不遗漏重要的解释变量
一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
（1）穷举法
4 {2 i# W8 s  W3 Q* X* q列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
m
​       
——当m mm较大时不现实
6 q: o4 f6 A& U! E5 q1 h
（2）向前选择变量法


- r- W2 F: `' E, R0 ^6 v# r

3 E, H6 Y7 g2 z+ t4 Y
2 J7 K0 s+ N2 S% ]# v3 x
（3）向后删除变量法
/ J8 m; J/ k! h4 x  B7 z
7 z/ @3 ?2 @# a3 s; l% W& T（4）逐步回归法——最常用
% v4 e# T: H$ V* F5 q* D5 Y. R

. D' F& C# ]. O: s1.1.4 调整复判定系数

9 o, c8 S. _" T1.2 最小二乘估计

一元线性回归、多元线性回归——略。
$ B' I7 [' j% @1 X1 J! P. ^: Z' I
2. 回归模型假设检验

" t6 Y7 x$ e! X7 ]——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）
: M7 `8 I6 {0 l& b! D1 u
6 c$ M' s6 @! j# }: N具体检验方法见书，此处不再赘述。
9 J- g: L7 P. v8 n$ X3 ^" l$ y
3. 回归参数假设检验和区间估计
- ~3 _0 v) Z( S3 \8 b( ^9 ?# s8 x
1 {% s* C" s% g! t6 `) B6 G——检查每一个自变量对因变量的影响是否显著（t tt 检验）

+ m' k" R, h  a( L0 C具体检验方法见书，此处不再赘述。

/ [* y7 e. ?! V) h5 b( ~4. 拟合效果分析

4.1 残差的样本方差(MSE)
- J8 W, O+ @) l" _

. g/ a0 x; P, H4.2 判定系数（拟合优度）
. N7 E6 V: Y+ {) t
% @' S/ W3 ]! _/ P

5. 利用回归模型进行预测
9 }% }4 u8 ^  b; ?  I3 |$ P' g% j& R

$ K/ Y; O/ Q6 y' L
其他
! N4 ]0 r4 M" H# U
偏相关系数（净相关系数）

0 \7 V* N: P; h在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。
. e- Z+ D6 {) c# i/ B
" r2 }* V8 I  [& {  j. `复共线性和有偏估计方法

在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

- p8 P' N/ P: E* N" |解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
! L4 o; h8 w: P# I4 s1 o% v（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
; V9 m! _% o7 Z9 Z
再如，主成分估计——可以去掉一些复共线性

, n' ?3 B1 c( \* e小结

采用回归模型进行建模的可取步骤如下：
9 R  e. P& m1 e) b2 h' c' \" {
建立回归模型
  h. I% h, l4 `( j2 _6 Z0 c, u2 v确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
& R" n9 F# ?$ _+ u. a原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
& t/ l7 d) U) C

6 `3 |4 d5 k% V2 \1 g7 G& A* H