数学建模之回归分析

杨利霞

: p( v6 v" }( a- v

数学建模之回归分析

" }) z$ ]+ |4 q& g& ?  F应用场景
1. 建立回归模型
1.1 筛选变量
1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
  `* u6 D- s% b0 }6 {. p1.1.3 变量筛选
3 P7 }: c% w9 ^( n1.1.4 调整复判定系数
1.2 最小二乘估计
2. 回归模型假设检验
& d9 y; g2 J0 j( [  V) N) u$ ?3. 回归参数假设检验和区间估计
4. 拟合效果分析
4.1 残差的样本方差(MSE)
1 ]0 g% j& H" h' y. V7 W3 [4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
其他
( l& B8 E4 S  {1 Q偏相关系数（净相关系数）
* B4 k9 T* _9 D( [- {% g+ G5 i复共线性和有偏估计方法
! Y' W4 g6 s3 V& }( a  ^9 G( i7 g7 m( C5 E小结
# @; M- H8 T2 i! p/ A; W( b应用场景
! b$ _9 ]7 ^* ?+ q$ G+ L
简单地说，回归分析是对拟合问题做的一种统计分析。
) [3 a; W4 A% FP.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
. Y( j( W" L0 {8 P5 k
具体地说，回归分析在一组数据的基础上研究以下问题：

1. 建立回归模型

- {8 c/ ^6 A1 J2 u% T1.1 筛选变量
3 O7 W3 j/ g& T# M; }
1.1.1 确定样本空间


所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

1.1.2 对数据进行标准化处理

（1）数据的中心化处理
% r) [2 h9 r2 Y4 d实际上就是平移变化，
; d- |. I# R; m$ R

; ?% P$ V* r  A1 d! H这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
4 `+ A- c' C4 @' Z（2）数据的无量纲化处理
% X$ {4 j2 a  g0 S$ }  k在实际问题中，不同变量的测量单位往往是不同的。
为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
: x" z- n9 H8 D: J: l  z即，


当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
) }3 z/ k: B, o1 t: C即，
) D4 Y! i/ \& Z' m! V
/ j  {/ \- w5 ]0 h
1.1.3 变量筛选
) U, K- G$ R6 s
+ ]% Y% S8 d& f2 s4 @——选择哪些变量作为因变量的解释变量：
& e' P- M7 M  Y5 ?" A$ v1 }. C5 K
一方面，希望尽可能不遗漏重要的解释变量
( a1 U4 o' d  r8 i一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
) L2 N9 x  m8 U（1）穷举法
列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
' s4 K8 }' g' E" b0 Y- Wm
) A' p, P) D! \​       
1 [5 H) x1 f8 j8 C ——当m mm较大时不现实

% y- ]. Y2 o6 F（2）向前选择变量法
- X. [" ~/ Y: b. {/ D3 b+ [" d
: s) |. z  q* o( x  B) V5 b' ^



# }. k0 _3 w+ \/ h. m
（3）向后删除变量法

% }' F: S3 K& {（4）逐步回归法——最常用
7 y% e$ _; h3 p8 L/ ]4 t
/ A2 t# ~# D* r. M: Q
1.1.4 调整复判定系数

0 H. n. z! T- m9 F1 Z0 r. G1.2 最小二乘估计

+ v2 \/ i3 }0 y" R9 O; X( z; ^6 q3 I% q一元线性回归、多元线性回归——略。
1 q7 j) n+ p" U1 o# A6 Y- @' T
2. 回归模型假设检验

——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）
+ P1 ]/ E* k8 m
1 t0 K- _9 K+ d具体检验方法见书，此处不再赘述。
# @4 D" L* Y$ F9 m
2 ]) R1 L7 w  e3. 回归参数假设检验和区间估计

+ ~: q4 J( P; T5 J$ c" S6 T——检查每一个自变量对因变量的影响是否显著（t tt 检验）
  i/ ^+ A0 _6 X9 {; G8 r
/ L. w' e9 b$ v$ L具体检验方法见书，此处不再赘述。

4. 拟合效果分析

4.1 残差的样本方差(MSE)


4.2 判定系数（拟合优度）


0 i& Q9 |! l4 t- B
5. 利用回归模型进行预测
) E3 D% \1 |* I) g! r$ v5 |' J

; y: @$ G/ [7 A2 ^7 o5 Q
: `& |4 N8 w; h( R  }其他

( s  a. T3 s1 Z- `  x偏相关系数（净相关系数）

在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

复共线性和有偏估计方法
) m; R' e  H7 w+ \8 k
7 |& p9 k' R- A: [4 y4 b  J  g在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)
$ \1 x) @( g# U
解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
+ c6 v1 G% X8 V) c例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）

再如，主成分估计——可以去掉一些复共线性
  o3 ?) \7 z, i3 G+ r8 X2 k
小结
+ J* H& S9 |( c9 ?9 ^
  S" E" R* m/ \采用回归模型进行建模的可取步骤如下：

建立回归模型
$ t8 h1 N) B: m2 H) i' V0 {确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451


! ]2 r! U* i4 b. q3 k. I. e) }) X