数学建模之回归分析

杨利霞

6 [% n  I6 C( S4 `% ?- c6 D' ?; m

数学建模之回归分析

9 @1 l* k) ?8 {' e& M
# j5 r% f5 U/ q1 E" j  U应用场景
1. 建立回归模型
1.1 筛选变量
# C2 ]- G, H+ o& }1.1.1 确定样本空间
2 a5 }8 v4 D' U! D8 I) u- @1.1.2 对数据进行标准化处理
7 n. `3 I1 ~! s. W1.1.3 变量筛选
- k# {. ]% C' P9 [# ~9 a1.1.4 调整复判定系数
1.2 最小二乘估计
2. 回归模型假设检验
3. 回归参数假设检验和区间估计
0 j1 f0 [: G# f4. 拟合效果分析
3 q- `8 q) L6 Z! T- g' Z0 Q4.1 残差的样本方差(MSE)
4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
其他
偏相关系数（净相关系数）
复共线性和有偏估计方法
小结
. w0 ^/ u9 Q" O# S应用场景

: p: l* Q1 U1 M2 @5 V7 f简单地说，回归分析是对拟合问题做的一种统计分析。
6 A& T( F. r) S1 F+ m+ MP.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
+ q$ ]( x  ]  [- q8 U* o
* S; h* S) ?' |7 Y' X: @& G具体地说，回归分析在一组数据的基础上研究以下问题：

! t6 I& C+ ]+ n, k: F1. 建立回归模型

1.1 筛选变量
$ Z# f$ Z: C. d* c4 P' M, z
1.1.1 确定样本空间

3 Q/ ?4 v, ?. F/ A2 r
0 y, |1 B3 V& I* j; D% E  d( N所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

1.1.2 对数据进行标准化处理
2 X/ k% F# K7 h  H5 k
（1）数据的中心化处理
实际上就是平移变化，
# O: K) |( e. ]7 c0 U( ]
! {" ~8 `2 |$ j; H
这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
（2）数据的无量纲化处理
% n7 w; u' Z/ E; Y0 g+ ^) L- k在实际问题中，不同变量的测量单位往往是不同的。
为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
8 c9 G/ M( U  ?% R  n% k8 F即，

" ^1 I' ^) P# b
; M% W' U+ K% H& r: D7 _4 z6 h8 T当然，也有其他消量纲的方法，此处不一一列举。
$ c+ y+ o: V( b; K（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
" ^8 {+ z, T$ g. ]3 K. k即，


1.1.3 变量筛选
. V" O5 ~7 m& c
% U  D) ]1 e8 N% Y6 B) m- Z——选择哪些变量作为因变量的解释变量：
; L0 W8 K4 N: c7 z
+ ?$ w9 W: U$ f一方面，希望尽可能不遗漏重要的解释变量
5 V, @) J6 u. Y2 s3 n% _9 _一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
1 g: D& a- I6 G+ M（1）穷举法
9 G. T+ t$ ~' i- l! J# b) B, ?列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
m
​       
5 q. q( [- k6 N) g ——当m mm较大时不现实

" P2 M( \: W5 w" T$ u" V1 y# i（2）向前选择变量法


8 g% }3 }9 W: {* u2 a
8 J5 N4 \! m6 x4 ^
$ X; ^1 a& e, b, z- T( n8 J
1 G- l6 I3 |& N. C1 T  Y% d
, L  E9 b& O: |. H7 f" j2 z（3）向后删除变量法

+ t- K1 Q7 {& V6 y! R. `" d（4）逐步回归法——最常用

7 T* J8 z& C1 h+ G- i2 `; Q* h+ _
; h: I) K/ }! T6 _  U1.1.4 调整复判定系数

1.2 最小二乘估计

3 `2 n6 J  x  P% S! N1 [" i一元线性回归、多元线性回归——略。

  ~0 d- N; Z9 H3 u( {  K2. 回归模型假设检验

) Y- m, W, i- a( L8 F3 B/ C——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）
* @- P; ?0 }  O
# @2 C' R7 v/ T, q7 v0 W具体检验方法见书，此处不再赘述。
$ s. S4 F) ]7 j2 u; L+ X
/ V( w3 H% Y% U; I- W3. 回归参数假设检验和区间估计

——检查每一个自变量对因变量的影响是否显著（t tt 检验）

& Q5 a1 g+ j- T' Q) z1 F2 p具体检验方法见书，此处不再赘述。
; J. Y$ V+ d* S2 v5 w
2 b. d. W6 |/ g* `0 B; A. `. K% U4. 拟合效果分析

9 k1 g: a. M/ {( _) Z( {! z; t4.1 残差的样本方差(MSE)

* q- j8 k. |7 w2 x: M
8 v, M' u" l  z! }5 P% `4.2 判定系数（拟合优度）

. V3 h* F" L' O1 n. S; _

5. 利用回归模型进行预测
$ O. J2 u9 p. U! L* x


其他

偏相关系数（净相关系数）
: @9 p( _5 \  E- d$ K
4 {* `# i4 L; ~" O: o在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。
- J, l. h) Y2 g& {/ t4 t) c% U: c
复共线性和有偏估计方法
6 X/ R/ _- J5 z; k" @3 l4 ^8 O
5 g4 T' P% m( J7 }) E; E在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)
+ q$ y7 g: i0 k) t, V- P# J& O
解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
) B+ L' I0 `! E6 [! s（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
+ ~3 A* P$ O' X7 I" u( V; x
/ H/ J5 ?+ D2 r- v; c再如，主成分估计——可以去掉一些复共线性
' w% w* c4 ]8 M( f7 q4 w6 q% p
小结

采用回归模型进行建模的可取步骤如下：

建立回归模型
& g5 H6 U5 C# m& Z* ~$ w确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
3 c: o& G; R' L- F9 T原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451

* q7 i! V' ]8 ^+ x6 W, k: H7 Q/ ?