数学建模之回归分析

杨利霞

' b% I0 V% C/ m8 J  G5 c

数学建模之回归分析

3 @4 \/ [' W; i: T- T+ J8 b应用场景
6 {  a* I, j9 C: y! t1. 建立回归模型
7 ~5 u$ b) P! ~1.1 筛选变量
1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
! l5 ~# P8 \- M0 |4 K1.1.3 变量筛选
: ]# G& f( h( W  l1.1.4 调整复判定系数
3 A0 ]7 [2 X8 `! j. N$ h/ |1.2 最小二乘估计
2 p. X3 a0 h3 D% ~9 T2. 回归模型假设检验
9 X8 Z' O% L' x0 _" @8 T. U3. 回归参数假设检验和区间估计
) G" E, [/ f' S4. 拟合效果分析
5 ?" Y3 m5 r- |- Z3 y0 @6 K5 C4.1 残差的样本方差(MSE)
0 k$ ^4 b/ E& {4.2 判定系数（拟合优度）
9 q) s% q& S: |! e. h; o. h5 {5. 利用回归模型进行预测
* b  [4 |2 M3 c- B2 S其他
偏相关系数（净相关系数）
复共线性和有偏估计方法
- U& g# D8 _& \1 r" F5 _小结
应用场景
: y5 ?/ q" Z: D, n; J* v6 L7 T
" K, b4 v& B6 X简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
! G/ @7 P6 d4 y- F$ R9 T/ ?
具体地说，回归分析在一组数据的基础上研究以下问题：

) X& f( F6 S/ c. n0 M* [1. 建立回归模型
4 @6 S) B8 {  d
+ C7 `- p6 a$ J& Q1.1 筛选变量
5 l% g+ g8 U, U6 g4 f6 _
% F% [/ \1 f* y' M0 ]$ O% `! Y1.1.1 确定样本空间
( B* X1 y. E. `# A) U1 \

5 o/ ^# N0 m& |; h所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。
0 B/ K) x3 v  i( Q: r  u
3 W) o% }- m0 ~, E+ t! g# O6 V2 D' j1.1.2 对数据进行标准化处理
; F% B* ]3 T( x  d
. b  j7 S" x) h+ S8 ]6 U5 @4 u（1）数据的中心化处理
7 [9 U/ B1 y$ x0 p7 t1 |. b7 W% i实际上就是平移变化，

5 y' {3 r( s" x1 J, Q
* @4 K: N. j: i: v% Z9 G. s' T这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
（2）数据的无量纲化处理
, v6 F0 T, \# l9 X$ Q& _在实际问题中，不同变量的测量单位往往是不同的。
为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
即，
6 T3 g( @  I1 y0 L+ s
" c/ @1 O* U" K3 V0 O$ _$ Z- b
, A# G2 S- p5 Z) [/ B当然，也有其他消量纲的方法，此处不一一列举。
5 h! u6 p& ?* a% x" M4 j0 ]5 Y（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
( m: k1 ^( a3 F1 V2 m( D; D9 d即，
& D7 _2 f* g' v% p

6 s6 G' s; J! m0 I8 j4 V1.1.3 变量筛选

. Q# G5 I* R  J* u; ?$ D1 {: t; B——选择哪些变量作为因变量的解释变量：
3 |; Z- |% |2 }  C9 P0 F
一方面，希望尽可能不遗漏重要的解释变量
一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
（1）穷举法
; R, A9 ~, T0 t! j5 S+ ^, ~: P: R列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
* V- C& w7 L" x& Q假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
m
% P* X' C# q' P' F. n$ ^7 X​       
——当m mm较大时不现实
: N: K7 p$ x3 L* r7 l
+ h7 g" t+ V( `+ e4 t（2）向前选择变量法
) q* a% {9 R% r3 A  b2 D. w



) s, e) e& ]- b6 A8 T) l0 @

（3）向后删除变量法
2 ~2 N5 q& Z7 x
（4）逐步回归法——最常用
5 X& [8 @+ b3 X+ W5 g. i
' p9 {3 u1 k2 i6 w4 Y
7 |  k- l# _  h2 x/ f1.1.4 调整复判定系数
: k2 ~: A3 A; d( O) u
1.2 最小二乘估计
( x# u+ ^3 z+ r9 W( ?+ k& [3 D
一元线性回归、多元线性回归——略。

2. 回归模型假设检验
* ]. Q; }( k0 i7 [6 e( |3 S" |. ~
——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

% l# \. _( O# `; B' H( H具体检验方法见书，此处不再赘述。

3. 回归参数假设检验和区间估计

! r- |" L! z: u9 q+ s——检查每一个自变量对因变量的影响是否显著（t tt 检验）

具体检验方法见书，此处不再赘述。
0 ^- X0 D' g; ?. g
4. 拟合效果分析
/ u  w1 j0 V6 T9 `* U
4.1 残差的样本方差(MSE)

6 Y* \; R0 i3 l# v
4.2 判定系数（拟合优度）

: s) v& C% L8 p" j) A

5. 利用回归模型进行预测
: l. O/ S* A3 l+ B  t
/ P2 ?9 j5 }8 m5 z' a+ F

其他

偏相关系数（净相关系数）
6 Q% n5 D" o, L. ~8 k- E. y5 R, U
在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

复共线性和有偏估计方法
8 d+ a3 W) H% z7 R+ ~
  s( Z4 c% U6 \  C/ s' Q8 ]% q在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)
1 I. W8 }0 O1 f% {+ F7 w
' K( z& q% s5 Z3 }$ A1 Q' g解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
1 D) U( i+ G; ]- @6 i/ @' H例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
6 y- w2 W2 N+ j1 C0 I8 ?" L4 E) }（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
: f4 o1 m* T# g' i" o
再如，主成分估计——可以去掉一些复共线性
$ z# s& b4 [2 m- b: U3 \
小结

采用回归模型进行建模的可取步骤如下：
, @* n! _( ^: B2 [/ c
8 s- p# h! M) S" P$ h建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451