数学建模之回归分析

杨利霞

数学建模之回归分析

" x# T0 M1 S$ @* k# T
# ]+ K5 X9 ]( e6 [! `2 b  S应用场景
1. 建立回归模型
* A( @) _' k$ p& D. l3 }1.1 筛选变量
1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
1 n! u4 R8 _, s0 r' A0 s# S+ ?1.1.3 变量筛选
1.1.4 调整复判定系数
1.2 最小二乘估计
2. 回归模型假设检验
# }& m5 I6 p1 E$ f0 z* l/ \% U( W3. 回归参数假设检验和区间估计
4. 拟合效果分析
4.1 残差的样本方差(MSE)
4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
其他
/ A1 c+ y6 q# E偏相关系数（净相关系数）
复共线性和有偏估计方法
小结
* l; n2 g9 A4 t5 y! f( u/ v' d/ L应用场景
# r' u! m! v) H
简单地说，回归分析是对拟合问题做的一种统计分析。
4 Z! W+ B. o" m$ Y# Y  Y1 CP.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
4 d: l1 P- g/ ?; a
6 {2 O# l, O! g0 x$ E3 \! e$ ]具体地说，回归分析在一组数据的基础上研究以下问题：
8 ~- \: F6 |6 y+ {, z. B- b" d
1 H4 A2 D. g* u9 D& g( O2 n' R4 ^1. 建立回归模型

1.1 筛选变量
6 `3 l: j. k1 K; b7 t. m; [  T
4 i$ f0 t4 P6 v% C% \& w" t1.1.1 确定样本空间
  t! I& f9 ]" p* `

6 d, x: e$ K3 Y) _. ]所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

1.1.2 对数据进行标准化处理
/ C/ J0 W* M" `7 D; n
（1）数据的中心化处理
实际上就是平移变化，

2 l! h' V0 T5 ~9 A2 X
/ |7 ]! U& r/ W这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
) a3 I2 p6 H( K( N% R4 |（2）数据的无量纲化处理
: v, y! w5 W3 @+ _" k在实际问题中，不同变量的测量单位往往是不同的。
; n8 r/ ?2 g- a, R为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
即，
9 T4 `( X; Q  p/ B: T
2 {9 @4 I% ]% L" ]3 x7 C( [! P' |
当然，也有其他消量纲的方法，此处不一一列举。
7 f. |) q! g% T$ c9 s& L% R4 m（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
即，
& ?4 w4 D3 ~+ k3 A

1.1.3 变量筛选

! l# e4 k1 B6 l% ~, E5 p——选择哪些变量作为因变量的解释变量：
, ?* J$ i6 V8 Y& I
一方面，希望尽可能不遗漏重要的解释变量
+ L4 e( K0 u& w一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
; w: L. v+ |9 i! a2 p1 q" B" ^（1）穷举法
列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
2 {* T& ]0 {9 T: y9 Q7 A. Y- Am
​       
8 I5 ]! r% A0 F ——当m mm较大时不现实
: R/ R3 q/ t/ ?$ f
（2）向前选择变量法
' r$ B& I3 g) \) `
! D$ c) q( ?, r; P1 X
6 s* \$ m4 H3 K6 W6 E  G2 M
1 U* _9 N! ~& y+ N6 A: i# v
& @9 k9 L& T, K" U0 t5 A% M0 s

（3）向后删除变量法

（4）逐步回归法——最常用


* t5 h5 {9 A" p" G0 J7 K. L3 D2 O1.1.4 调整复判定系数

: G( ?9 Q1 e( t& C7 i5 |5 K1.2 最小二乘估计
) G) B# Z. L/ E; {6 @( g
一元线性回归、多元线性回归——略。

2. 回归模型假设检验

——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）
8 ~: H/ B3 K, C. [4 i" J( A
具体检验方法见书，此处不再赘述。
( I; P3 o8 s/ _1 w& Q3 u+ X# v
' E' E5 F2 j# f3. 回归参数假设检验和区间估计
+ g. l2 j$ d, ?. h: c: s/ s' s
——检查每一个自变量对因变量的影响是否显著（t tt 检验）
* e" T  E/ |. o
具体检验方法见书，此处不再赘述。

4. 拟合效果分析
. }5 s7 O* f/ _& O
4.1 残差的样本方差(MSE)


* n9 J( g5 Y4 K6 W" a2 |/ |& k; h4.2 判定系数（拟合优度）
% Y! |' s& a% Z; e6 C& S: L
0 K7 h9 X* D6 v% l, q

  x- i% E6 l" |* c# E8 O. U& x5. 利用回归模型进行预测



其他
3 _0 @# @& x" z" l) p
偏相关系数（净相关系数）

在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。
, i& j2 D, G) g1 Y
复共线性和有偏估计方法

在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)
/ ~$ L$ L0 \7 T* [9 x& c0 G
解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
7 Z4 \! h$ U' W+ D) k7 y2 Z1 L（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
: ^. \$ z% `! Z$ C& H
/ v: x6 u' \, D1 z1 P+ o/ F再如，主成分估计——可以去掉一些复共线性
% h  l9 G; V3 D  v4 F' i8 T
1 j1 U; M$ P) p- z3 [小结
0 y; _$ G8 P4 ^" b- |6 N
4 f9 b9 h( U+ x+ [0 K采用回归模型进行建模的可取步骤如下：

建立回归模型
8 k. p2 r; Z& a& C$ ^确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
( B) k& y. K" r  Y* b原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
: x% p/ z# a& h5 J