数学建模之回归分析

杨利霞

5 a3 g) A2 i# K$ b. `
) t* {0 D( b4 p% H# f7 Z

数学建模之回归分析

+ i: ^4 m5 t/ Q; ?. x3 g
应用场景
, h. k9 {. s. ^/ B1. 建立回归模型
1.1 筛选变量
1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
1.1.3 变量筛选
1.1.4 调整复判定系数
1.2 最小二乘估计
2. 回归模型假设检验
- `7 l* h4 w5 W' [8 F2 }3. 回归参数假设检验和区间估计
4. 拟合效果分析
) m1 s+ O8 v$ q2 O# R9 ]. a4.1 残差的样本方差(MSE)
4.2 判定系数（拟合优度）
6 w, M4 d' S& k2 o* E4 I5. 利用回归模型进行预测
其他
偏相关系数（净相关系数）
复共线性和有偏估计方法
; l: C0 g7 W' ~2 i( _' t& I小结
应用场景
* P( y! l% G) o+ c8 Y
  Y- u- @5 d+ Q' O) V简单地说，回归分析是对拟合问题做的一种统计分析。
+ p, x2 D% G: T+ `# A% C0 y1 VP.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。

具体地说，回归分析在一组数据的基础上研究以下问题：

1. 建立回归模型
4 h& a- s  A; p/ D; N
1.1 筛选变量
6 D& T6 M( u0 b% `# T
1.1.1 确定样本空间


所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

1.1.2 对数据进行标准化处理

（1）数据的中心化处理
6 `% o) b" N7 V实际上就是平移变化，
  G6 P9 W6 H* J0 _/ Z) o
3 m& e4 Z& q. z! L% n" q: V
' u/ C, Z3 x( L: c这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
' D4 |- {  g9 U$ A' u, I6 H. V（2）数据的无量纲化处理
在实际问题中，不同变量的测量单位往往是不同的。
' i8 k3 q. Y! ~为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
& s% a4 H/ P$ u, d4 i* P3 ?4 p- x即，
# F9 A% P. z( I- g% H& S" W& w7 p

当然，也有其他消量纲的方法，此处不一一列举。
# M6 k. _" ~" z9 [: ]% [. I8 _（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
+ Y; j4 r- J' _: ^* u即，
, \9 w0 v  v* P

1.1.3 变量筛选

# n4 r$ @  w- j1 ?——选择哪些变量作为因变量的解释变量：

5 s6 B1 G% P* l. u  e" ^一方面，希望尽可能不遗漏重要的解释变量
一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
# r3 Y# x- B7 {. o, J5 I% ?4 u" |（1）穷举法
列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
* Z! \; [- ^# }) B- W9 i假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
m
​       
/ F+ u2 h4 l5 E9 Z2 A- B7 W4 W ——当m mm较大时不现实

) I0 @8 ]% x: }0 C" k6 B6 G（2）向前选择变量法

; ?1 N' h& O( K1 _: a2 ^& Q
1 Q. {, H! X  _


" o, S  k4 P9 J5 u
8 Z0 G$ k$ {& \5 d' J1 U* R（3）向后删除变量法

（4）逐步回归法——最常用

/ _' G- b: A6 t- p1 k
' C" E" @8 V; \" M1.1.4 调整复判定系数
9 r9 o" {. _/ L* U; N1 L1 {
1.2 最小二乘估计

7 u6 Q1 L4 s; R8 v2 R- Y2 ?) y一元线性回归、多元线性回归——略。

2. 回归模型假设检验

- x3 U2 i: d% y  D, l# G) ?! t% k( }——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

具体检验方法见书，此处不再赘述。
& K" s6 t5 q5 u/ W
3. 回归参数假设检验和区间估计

5 M" {& V6 r3 k2 K——检查每一个自变量对因变量的影响是否显著（t tt 检验）
5 ^/ z- B4 {  y* {
具体检验方法见书，此处不再赘述。
; x. i6 X( ?1 ^/ T2 d& _  ~) k) J
$ u2 `2 o/ V7 J4 Z% W4. 拟合效果分析

" B9 r3 U  c: Z) s4 P6 V( t  W. e4.1 残差的样本方差(MSE)


4.2 判定系数（拟合优度）

+ M) n5 I3 ~& A& ~1 q& [
) C& p' Y$ a3 Y- r
9 C& H9 R' Y/ s  W: d5. 利用回归模型进行预测

: L5 L" m' W' [0 n
+ t+ N. i- r! i- _$ I$ o
' Q0 F& G1 j$ s2 D9 \其他
& \; I, f8 L# h
! g5 J. a' t5 [! T9 A偏相关系数（净相关系数）

( _+ Z0 U. K: K1 s0 S  u在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。
7 q. Q9 V3 J% U9 t+ l; M
  j) l: H' l$ ^) u  x- K9 p, e复共线性和有偏估计方法
) y. S5 n% ~2 |- m
在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)
  Z1 x9 y. v2 l/ J( b
解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
  u- I; g/ u) ]5 A- g/ H5 F1 b
再如，主成分估计——可以去掉一些复共线性
6 r) S; ?! o# |0 x$ O; @
小结
- T1 {  a1 |4 p' m  a
采用回归模型进行建模的可取步骤如下：
2 I7 G% X' F6 T0 T
1 i  r0 k9 e! ]$ p; e% s! A) w" y建立回归模型
' [" ], P3 u) r' u- {+ @" J% O确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451


/ r4 ?! l' |, n! f6 O' C