数学建模之回归分析

杨利霞

2 a2 z4 V3 ^* t1 b' _* e9 f  n
6 D* X2 t3 n4 i; \

数学建模之回归分析

1 ~" y6 l  G& W5 |+ S3 D4 \% P
: r- _/ \- G4 a5 e: X- s应用场景
. t- y. {( w: s7 k1. 建立回归模型
, k: N6 V  }) g+ p; ^$ V3 e4 h, [1.1 筛选变量
& J) x4 I$ w( s  w1.1.1 确定样本空间
1 {! C" G3 p! V& t8 o1.1.2 对数据进行标准化处理
& u/ h, |# T: L: F0 K: V+ f: X/ M6 b1.1.3 变量筛选
1.1.4 调整复判定系数
1.2 最小二乘估计
2. 回归模型假设检验
3. 回归参数假设检验和区间估计
4. 拟合效果分析
4 `2 d$ f4 Q& @' b7 i& T4.1 残差的样本方差(MSE)
4.2 判定系数（拟合优度）
4 r7 g) l; O. _5. 利用回归模型进行预测
其他
2 H7 ?" V+ p! h+ r偏相关系数（净相关系数）
复共线性和有偏估计方法
' o0 J1 j* b: B* h) @小结
应用场景

( A, I! _# u2 A简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
( G. p: P; m  f0 Y1 ?
具体地说，回归分析在一组数据的基础上研究以下问题：
0 a( Y. h! z5 T0 N, T0 @
1. 建立回归模型
/ o) F) D. ~. @' p; T  K6 @# F
% c1 a' y/ ^, Z6 U: {  S1.1 筛选变量

+ k/ I5 {) c8 S, m: U9 ~5 `* f# c* h. i1.1.1 确定样本空间


所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。
. [/ l- n# S% [
1.1.2 对数据进行标准化处理
) x$ I4 A& Z  j+ w8 }! w) o( C( {4 B
（1）数据的中心化处理
实际上就是平移变化，


这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
* h0 R1 u6 k7 ~$ n( M& u（2）数据的无量纲化处理
* ?1 e2 p3 D: @' m; D在实际问题中，不同变量的测量单位往往是不同的。
为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
即，
# z; R; O- M! z7 I) p/ \5 H# a
, S0 r6 ~7 k. Q% }6 G( `* ^5 y0 J
+ U4 N& P5 H/ c1 V& F$ L6 P9 J当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
即，
) o: d  u* _& L6 F9 G: d' u2 j

" z4 ^  V" w- }" y  E1.1.3 变量筛选
7 q7 C" `' L4 Q7 e
——选择哪些变量作为因变量的解释变量：
% q  M0 }1 n1 ?$ C# B# n9 c) {' Q- k
2 }6 |; m; _( P% d$ A( Y一方面，希望尽可能不遗漏重要的解释变量
% h: x" j% i9 s3 `一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
8 v- H' K7 f' G. L! @4 v（1）穷举法
/ I/ q- _0 H9 h, z* G列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
8 v1 ~) Y# |, x  Zm
​       
! t# O/ I) {' m3 Q ——当m mm较大时不现实

& n: ^) T$ D3 b' J（2）向前选择变量法
+ P( S8 Y8 `' l- l' m5 x6 o7 y: Y& P; \
; @9 n( `& m+ N& b( _5 g
4 f6 E1 U" Z% c- X" ~7 H, a% L
5 V6 ^' a- G7 T: D; u. \4 E
9 ~- X8 {7 o, q

（3）向后删除变量法

( I: P  p1 G; x" o4 X% Z（4）逐步回归法——最常用


1.1.4 调整复判定系数
" ^/ w- p9 V+ s
+ \8 V3 l( o, `1.2 最小二乘估计
+ a: N8 K" D4 N! |0 _3 R  q
一元线性回归、多元线性回归——略。
* _- N! Z0 D  T6 E( E
2. 回归模型假设检验
7 L7 y3 Z) c1 g6 c) o9 ^: R0 u
# a$ ]4 p  o' Y& h5 e+ n" V0 C: C——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

具体检验方法见书，此处不再赘述。
2 Z  i' M3 `& a9 N$ }8 a
3. 回归参数假设检验和区间估计
1 B5 J6 K- H( ?8 X* R$ N
7 [. Q6 n' c5 w1 B2 D——检查每一个自变量对因变量的影响是否显著（t tt 检验）
( [, P' {0 @6 X3 C4 a3 ]; T0 _
具体检验方法见书，此处不再赘述。

4. 拟合效果分析
6 s5 m( j% A6 j+ i  \
4.1 残差的样本方差(MSE)

0 {; A" i& a6 W& r1 M! o  @7 A) I) Q
4.2 判定系数（拟合优度）
0 ?, `3 M- R# B& W
1 d8 Z) P& _. |/ G: U( E" A
& u+ Z( k$ I! a. s* ^1 j
5. 利用回归模型进行预测
" o6 T8 [/ Z# K+ a& T5 W+ X


其他
$ m% }" n# ?- L9 ]7 q4 w
# [5 D+ }6 v$ ?7 B偏相关系数（净相关系数）

* W; c# ~' ]1 v( f在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

0 ~5 j/ q" K+ ~% b* }0 F0 e复共线性和有偏估计方法
. Z2 O; \8 j  x. Q
在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

- t; V4 F" |! ~, X解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
- t8 {& t; q% [# y+ e
再如，主成分估计——可以去掉一些复共线性

小结

采用回归模型进行建模的可取步骤如下：

建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451

* }! J' \. C( @8 m' R
9 v9 V! N+ h: v% v