数学建模之回归分析

杨利霞

/ l( [) G1 r; E% P! _. p

数学建模之回归分析

应用场景
1. 建立回归模型
1.1 筛选变量
2 e. [9 A/ u$ c  d1.1.1 确定样本空间
5 U: O4 e! p% l$ M1.1.2 对数据进行标准化处理
1.1.3 变量筛选
( `2 v) p$ \5 ^; v4 Q; X1.1.4 调整复判定系数
" n- ^% G1 j% @/ x: f  Q1 D1.2 最小二乘估计
; y4 G  q& J2 }; H" f9 X2. 回归模型假设检验
* I5 m# u+ @8 V( ?1 A3. 回归参数假设检验和区间估计
4. 拟合效果分析
( A' L9 @% s) }9 [% G2 {$ O9 X! U2 i4.1 残差的样本方差(MSE)
4.2 判定系数（拟合优度）
3 |) d" f/ d6 a) \9 }9 j5. 利用回归模型进行预测
9 g! f+ ^, h- w6 Q; M其他
" V  y4 G- Z; Q1 F偏相关系数（净相关系数）
复共线性和有偏估计方法
7 z8 y  U* d: i) _3 Z' `1 g0 A小结
应用场景
: [7 L% [9 o9 `9 U: j5 g
简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。

具体地说，回归分析在一组数据的基础上研究以下问题：

) W  }0 J, I" {! b# q1. 建立回归模型
2 x7 i4 @& K' Q# i
  U" c' q6 L1 n; E* f, b* U1.1 筛选变量
: W( q- r% d$ v4 X9 f* H4 J$ ^
$ c/ v; f- H# i/ g. x: K$ P1.1.1 确定样本空间


7 ?+ c2 u6 l( X, B- I3 q, J  t; Y) }所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

- w* P5 S% J+ A1.1.2 对数据进行标准化处理

8 `% P. ]' a# _; @% V  N（1）数据的中心化处理
实际上就是平移变化，
2 X+ a( T8 ]2 [. B/ O1 |
$ A; q2 C) R" ]% c
这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
, a0 D2 G: o8 u4 \4 c9 V/ t（2）数据的无量纲化处理
5 O  R3 Y, C0 S# D  n7 n% k在实际问题中，不同变量的测量单位往往是不同的。
0 l6 |  e: B% l! d2 L7 F, t为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
即，


' }/ d, E" w0 a当然，也有其他消量纲的方法，此处不一一列举。
! Z+ g5 e: a" D. U; B（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
9 [( S4 S& f: ]即，

$ ]( C; M# H3 Q: N# S
' K0 V# B' g: n+ A1.1.3 变量筛选
$ _  C2 `: X2 p. t' I
——选择哪些变量作为因变量的解释变量：

# F9 b9 K8 ~' \* ?& u. \1 B! I一方面，希望尽可能不遗漏重要的解释变量
一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
（1）穷举法
列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
3 J2 l9 ?- r4 t) P* dm
​       
2 E9 L  Q! G4 n3 t# e4 n ——当m mm较大时不现实
# ^# [& g' _' Q7 A5 x6 c- ~
# |, n5 C2 m& l% X5 b" t9 X5 q（2）向前选择变量法

0 M$ h! C  K3 W
5 }, B6 b0 z% B( ~2 W. \

! r. k" z5 X# W+ Z0 i# J

) \5 g" p! y0 e' n# z（3）向后删除变量法

（4）逐步回归法——最常用


1.1.4 调整复判定系数
% @& `8 F7 ?5 Y7 c, r
1.2 最小二乘估计
" L1 ^4 \  X9 j8 }# ]) `( J
一元线性回归、多元线性回归——略。

2. 回归模型假设检验

——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）
0 a( M+ x+ L& m7 ?  R0 {5 p& [) E: G) c
具体检验方法见书，此处不再赘述。
& |: n, Y* x7 ?" `2 V$ a/ d4 o
8 @4 w3 n5 }5 `( d  Q2 D3. 回归参数假设检验和区间估计

——检查每一个自变量对因变量的影响是否显著（t tt 检验）

具体检验方法见书，此处不再赘述。
; X: o, D3 D$ t0 H% d
4. 拟合效果分析
( R4 ?1 @* C/ ?: W2 v* c
4.1 残差的样本方差(MSE)
; j: D8 e! K: v$ @9 B
( k4 Z5 W6 R& T* P
8 Y6 b: p1 ~; z; d4.2 判定系数（拟合优度）
5 o6 E7 L: w2 r& R1 h& j) @; T


% j  t6 Q) D. p0 a5. 利用回归模型进行预测


' r8 H3 @1 z" Q* h$ I0 c) ~
" q2 S7 n) q& I3 z+ u, \其他

1 ]8 @+ g& u$ D( \# B" B偏相关系数（净相关系数）

在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。
0 F' T' R3 Y0 m5 I$ `- S" \' E$ {
复共线性和有偏估计方法

在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
) ]- b8 j8 S* L& A- b（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）

再如，主成分估计——可以去掉一些复共线性
, O) k. q; B2 w2 m; J5 j1 C6 E
小结
+ H) A: z/ ?, _" l
采用回归模型进行建模的可取步骤如下：
# F7 J9 a/ H% e' ]
* J+ Q, c8 }: g建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
1 V+ z& P, U1 x$ P9 {& n1 i6 a原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
! d! Z! t2 e) [