数学建模之回归分析

杨利霞

) \  E- N7 Z/ i/ @( B3 K0 f0 E- J* w
/ D3 Z( I& d! {& O/ j- ^

数学建模之回归分析

) Y- x6 Q# r. k* D5 k( m
应用场景
1. 建立回归模型
8 d) W) l8 Q5 G. A4 S1.1 筛选变量
6 v' ?) ?% x% K0 X5 f1.1.1 确定样本空间
2 U1 e- T8 _& v" t1.1.2 对数据进行标准化处理
3 G! U+ `' |/ x" e8 [/ V1.1.3 变量筛选
1.1.4 调整复判定系数
( N, x8 _; s$ S1.2 最小二乘估计
2. 回归模型假设检验
3. 回归参数假设检验和区间估计
! \, R; P% h( d3 |$ d6 M4 R4. 拟合效果分析
4.1 残差的样本方差(MSE)
4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
, a% a0 C6 e+ I) Z其他
" k8 m6 X$ Z* g8 {4 f4 u& f偏相关系数（净相关系数）
复共线性和有偏估计方法
小结
9 m8 a+ F: O$ r: S& [( A2 d! r; f应用场景
/ E/ f. i; Z3 f
简单地说，回归分析是对拟合问题做的一种统计分析。
1 {, e' \0 I9 m4 ]: mP.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。

2 o. m* l: U6 d( ?具体地说，回归分析在一组数据的基础上研究以下问题：
2 a! ^" c! o2 c0 Y. ?
" R# U" A0 l6 V+ Z6 {8 I1. 建立回归模型

: o1 O% ?4 k5 n5 O1 V6 X! U8 O1.1 筛选变量

/ Y+ ?! A: o, h$ O! k, B& U' [1 A" ^1.1.1 确定样本空间
6 h7 c5 w2 `9 F7 B
5 c' r+ J$ R' m% a7 X
' v7 |/ K2 I7 z9 a3 Q4 j  j所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

  }9 J6 Q5 `/ u6 h1.1.2 对数据进行标准化处理
* A" R! ]& R' T
8 n$ r9 P9 a8 P% W（1）数据的中心化处理
* V) ^* V. X& p实际上就是平移变化，
0 E! c/ o8 e1 q7 X2 Q9 b6 |5 S
4 ~0 C2 s* m& }4 m
这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
. s$ r+ g. q7 c6 q# c! Y（2）数据的无量纲化处理
在实际问题中，不同变量的测量单位往往是不同的。
% a+ S/ ~$ I* z& `为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
即，
1 p# w3 W% t4 G1 b6 v1 T% k1 m
+ q9 M- q; n7 w5 G
/ f# r; h& g8 @, Q当然，也有其他消量纲的方法，此处不一一列举。
: ]6 D5 O: `; A7 i（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
4 E3 o! k) v- k- m即，
; @( Q+ d: m3 X1 {+ T
0 V; ^% R  B4 y1 t- Z5 w, O$ I2 A
6 |- [- s6 D( l' _4 M- V1.1.3 变量筛选
4 X: ~! u: E9 U+ K3 Z% {. u' [
0 J" N4 I# r. {. n  `——选择哪些变量作为因变量的解释变量：

" B3 Q2 M  `" t  G- S" B一方面，希望尽可能不遗漏重要的解释变量
& x4 C! R1 |1 @; H  k' L, `9 t0 r一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
$ p8 F4 M9 b1 O# M+ ~; H" o（1）穷举法
列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
8 L- }, M4 F  Q3 m$ o6 Dm
​       
——当m mm较大时不现实
  M, {3 F- s( r, x! f
（2）向前选择变量法

# @  G2 w8 r; H& A; y; _5 H

5 ~5 D6 [4 P1 }; q: {, k$ U  k


（3）向后删除变量法
0 i4 T0 u& L) p1 A% `' U
8 p' c1 H# M+ b9 V; ^8 D, d0 J（4）逐步回归法——最常用


. `# |' M5 _2 R& u. l) Y% a/ i1.1.4 调整复判定系数
" P/ ?$ t; p, \0 a: ^2 f$ l
3 ^, Z# g- @1 s! A: o2 P+ k1.2 最小二乘估计
& T0 y% I; Z0 _7 \, W
一元线性回归、多元线性回归——略。
* m" G( t, q2 `! v0 S& U
2. 回归模型假设检验
4 G( r: F5 G* u2 u, z
" r4 |' ]$ a- ?, E8 O, j——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

具体检验方法见书，此处不再赘述。

3. 回归参数假设检验和区间估计

——检查每一个自变量对因变量的影响是否显著（t tt 检验）

具体检验方法见书，此处不再赘述。

' q2 T  K8 M3 Q- j4. 拟合效果分析

4.1 残差的样本方差(MSE)

% _! U& n3 o/ X0 R" y$ h( g2 l
4 C! w* ~" q; W4.2 判定系数（拟合优度）


! t9 P( u  [5 [
5. 利用回归模型进行预测
  ]  U9 |: w2 j: A- o1 _
  G$ _& g7 T/ v% }5 }0 K
- r) J$ Q, i5 i5 k  q8 K
0 q+ Z9 P9 g1 u其他
4 t# a+ K% y5 E% e. N" T8 Y* @; v
- h6 L- T/ M2 v' u% N& G偏相关系数（净相关系数）
" W5 a( T7 M* W; I8 j$ R0 Q
在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

1 C! K, `# j* L- Z复共线性和有偏估计方法

在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

7 C/ H0 ?/ b0 f4 ]解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
! {: v4 \, F0 ?9 D& p（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）

1 V. k- Q+ O; `1 f1 Y再如，主成分估计——可以去掉一些复共线性

小结

* ]. i( b& N6 O0 b# H# ]/ x采用回归模型进行建模的可取步骤如下：

建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451

' G! g& A0 [6 n2 S% F! }/ j