数学建模之回归分析

杨利霞

; g1 D4 j* X( h' A2 c' [
% |. a7 [- z. V9 @$ F

数学建模之回归分析

应用场景
6 I) a+ L& ]5 |& G8 ]0 [: T1. 建立回归模型
6 ~, W, k" A: ]/ L6 z4 z1.1 筛选变量
$ q" @1 r$ X# y) F# n( `1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
' T8 p- Q: X2 M' J5 R1.1.3 变量筛选
- Y7 s8 _( B: m1.1.4 调整复判定系数
0 }" ~- A' F! s1 x% Z4 ]1.2 最小二乘估计
5 H) P) X! g1 y* i: M, i4 j, w2. 回归模型假设检验
3. 回归参数假设检验和区间估计
4. 拟合效果分析
5 z7 V. \6 |5 J' q) j4 }# B4.1 残差的样本方差(MSE)
4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
5 Y, F; J# S6 T/ T9 }其他
; \5 l2 M5 u: H偏相关系数（净相关系数）
复共线性和有偏估计方法
2 e7 a7 Y3 H1 G4 H/ z% K' T0 @" R小结
9 t6 z$ h: l2 S8 ^0 \& h应用场景
$ T8 p4 k, y- \1 P  V: j+ s
) K7 t6 d6 w6 c0 y. W/ y简单地说，回归分析是对拟合问题做的一种统计分析。
. r% S! {, A" F/ C$ ~$ U3 v& iP.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。

具体地说，回归分析在一组数据的基础上研究以下问题：
& p" _" w! W7 W& b
2 j" R  Q1 e- e# C' q! v" f1. 建立回归模型

1.1 筛选变量

9 V/ ^  H0 t4 D, M* X: D) m& l- f$ S1.1.1 确定样本空间
2 X8 P3 R" }; Q+ i/ I9 q

  x$ @, |7 s7 u1 [" F! V所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

' d  J  F6 f7 D+ T" Y" F2 n1.1.2 对数据进行标准化处理

（1）数据的中心化处理
实际上就是平移变化，

1 m* g/ z. @! ?0 ^
这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
（2）数据的无量纲化处理
% _2 a* m' W5 _0 N' U, ?在实际问题中，不同变量的测量单位往往是不同的。
8 {4 e% c* O& t% k% h为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
即，


当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
: \" H2 z; ^7 Q8 c- Y即，


7 ^& k4 {  V" u' J: L' G1.1.3 变量筛选
) v2 e  l' V# |' U7 ?8 S
; x; P  G3 P) v——选择哪些变量作为因变量的解释变量：

7 C, U* h5 x9 M* j; M一方面，希望尽可能不遗漏重要的解释变量
3 j* v0 @) l* t3 k9 O$ A. s一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
) o3 R. @% O5 g; d5 j（1）穷举法
列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
9 A4 G6 M+ P. x  o; ]3 Zm
​       
——当m mm较大时不现实
6 Y8 Q0 q+ h5 @- \/ T: T
8 x# A6 i3 X4 g! W/ ?0 X8 x（2）向前选择变量法


* y( Y! C* b% q! _* b$ u
& W% y' u5 R5 m- b7 o
+ T; |! F7 B- }
' W/ B# s; R) J  u* b
（3）向后删除变量法
% z% r) T* i# c* T- K1 ?* C
（4）逐步回归法——最常用


1.1.4 调整复判定系数
# J# q- ?5 U! p1 D% t4 q
  G; W/ ~0 f, C2 s1.2 最小二乘估计

一元线性回归、多元线性回归——略。

2. 回归模型假设检验
0 w0 T  g4 j- r9 r' b. s  ?  c& x
- T% h+ e! R; \6 X; x6 `0 k, a——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

具体检验方法见书，此处不再赘述。
) ~$ r3 {, B9 X& ~, P
4 |6 }+ c! r( U2 W$ \# ^3. 回归参数假设检验和区间估计

# v5 e: _$ M' Q% V) n——检查每一个自变量对因变量的影响是否显著（t tt 检验）

8 ?: O5 `8 w8 t% P" H具体检验方法见书，此处不再赘述。
( [3 o5 u8 O" z3 N
4. 拟合效果分析
& g# V9 B! m  d: J- \. c3 U
4.1 残差的样本方差(MSE)

5 x$ ~+ v/ |, [/ D6 x& W
0 l1 n4 w4 A. S8 o6 m4.2 判定系数（拟合优度）
! Y* S5 U. T- C* J4 h* t2 j
. O5 [/ |% e" |3 w( U# d

  g8 a4 Y/ I, q. @, ]* K5. 利用回归模型进行预测


: r9 h9 R$ L5 `3 Q3 ^! L1 r" t
5 \5 J9 W$ H  G0 Q% u6 s其他
! g- e- y# t4 @1 ?- U
偏相关系数（净相关系数）
1 `' W: C' Q2 r, i0 `( G
在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。
( i5 ?5 g: d$ [2 l
* C; `8 N' D$ q$ m, m2 f复共线性和有偏估计方法

在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
# D* G. Y( G) {7 A例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
& J# U& a2 a+ V0 n( ~（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）

; B0 ~( \; L! X' y) Z" d再如，主成分估计——可以去掉一些复共线性

小结

采用回归模型进行建模的可取步骤如下：
$ g2 ?+ M2 ^& ^( o( C
# V8 i, e- X# R. R  ~* Z3 i& C建立回归模型
7 F  R' h% ^/ ~2 r+ N确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
4 T0 M2 y8 I' o% z- r) h原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
, p: j7 T, Z0 g  Q+ h8 I
5 P# `" L# x+ @4 ^" y3 F% m
( E0 [" g! C6 P: z3 Q, |) L