数学建模之回归分析

杨利霞

4 g* L; p  z. g' n9 `) c4 z

数学建模之回归分析

6 [/ Z- A/ W, m: h6 }& h0 {
应用场景
1. 建立回归模型
' r, W. ]. I; |, g1.1 筛选变量
1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
7 c$ M) k# A7 i8 r5 H7 i& |7 F1.1.3 变量筛选
1.1.4 调整复判定系数
/ A1 p' r. J7 c  o1 f1.2 最小二乘估计
2. 回归模型假设检验
# V3 G5 R0 G% m# G$ m5 H3. 回归参数假设检验和区间估计
4. 拟合效果分析
4.1 残差的样本方差(MSE)
5 q/ `0 {5 F$ K- B' B9 F4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
其他
偏相关系数（净相关系数）
8 u8 i- q: z4 N/ o: d5 b& _+ h  L复共线性和有偏估计方法
小结
7 I4 \2 Y) O7 x& ?/ g/ w" K7 B$ ~应用场景

简单地说，回归分析是对拟合问题做的一种统计分析。
+ \& I7 B* e0 d, @0 v! K7 }: P' u: ~P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。

' E: ?+ t3 I0 E8 m3 I具体地说，回归分析在一组数据的基础上研究以下问题：
1 w- O6 \0 }; Y  t/ `
, l; h8 e8 Y% j+ y  [6 c' i6 q6 O5 ]1. 建立回归模型

- c( X0 {# N) Y2 M: \" m1.1 筛选变量
" `. @& Y  x; j
% B# K, S) r3 e! J: t3 @2 E1.1.1 确定样本空间

6 j/ m/ d- M3 Y, q
) ~, v) J9 D1 m所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。
" f) j# d( ^( N
# o' V; @3 P6 L. h! q5 Q" a3 Y1.1.2 对数据进行标准化处理

( h& j# {/ L& Y（1）数据的中心化处理
实际上就是平移变化，
. D5 _3 ?4 ?. D3 i- {6 d! k

1 Y1 Z4 `" c1 q5 |这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
' ^' x) ?& R- F  b2 j! [（2）数据的无量纲化处理
6 w, {- ?( Z) q在实际问题中，不同变量的测量单位往往是不同的。
为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
, ^8 o7 e9 Z& c4 A即，

1 p4 b( ]! K  a
当然，也有其他消量纲的方法，此处不一一列举。
2 T" X6 q0 M3 Y（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
- `) b; y! y7 T/ u; u: q即，

- a' E8 s( v4 ]: @5 J$ q' N% |
1.1.3 变量筛选
' _9 B8 i/ h: [. q- o
6 I8 T  M: \; ~, x——选择哪些变量作为因变量的解释变量：
* U3 Z+ V% H# M% r/ i$ u  C7 I  {
: e' ]0 L+ G3 s一方面，希望尽可能不遗漏重要的解释变量
& r+ E$ H8 y1 p. f( b( I一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
（1）穷举法
! g- y' l$ m. E) z列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
2 U: n) M9 O6 ~+ R假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
) J0 u. r+ R; }5 Q; qm
' q& w5 n2 r/ B- I' n" z9 [2 ]$ ~, [​       
——当m mm较大时不现实

' ?: `' Q. d4 [! d% p; q' U7 }* S（2）向前选择变量法
  D" Y% {1 Y$ ^7 u/ r/ d
! l4 r. ^9 k1 `' Z6 r" \



! W- K  _0 m0 @: Z4 q3 i  j+ c
( E% U1 P: S; f% q# I" A) w) ?（3）向后删除变量法
8 O$ Y1 \5 B- P
. W, d" M/ g# [; e（4）逐步回归法——最常用


. G( l' c1 T, E& g0 F; h' c1 X2 M1.1.4 调整复判定系数

1.2 最小二乘估计
8 j9 h( M, P: e8 Q5 U7 P
一元线性回归、多元线性回归——略。
0 H* ]( n# Q9 Y' e
2. 回归模型假设检验
$ i& |$ N2 \% X; Y4 D
——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）
* i% {% l! H4 I
具体检验方法见书，此处不再赘述。
9 @/ z1 c) \# t& {
3. 回归参数假设检验和区间估计

' @. R3 n4 I4 L# @, ?) U——检查每一个自变量对因变量的影响是否显著（t tt 检验）
( D! e4 ^: A7 S6 C! q
! I! E( e: N# ^" _2 q: ]/ _9 {具体检验方法见书，此处不再赘述。
6 J2 z3 b$ }0 {
4. 拟合效果分析
0 [' f- P( L) s" N0 [0 H
4.1 残差的样本方差(MSE)
( z- W# ~, W. A! Q5 C. H* l, r5 a3 z

6 g  P7 k1 U. ]0 a7 V4.2 判定系数（拟合优度）
2 Y8 Q7 x1 k& d& G  b9 n

1 |7 D0 C' i4 \9 v+ `
$ W7 P6 w( s  A- e4 Z5 ~9 C5. 利用回归模型进行预测
* y. b! G) d) q: {$ P' O: L
( f! n$ E' r- D5 Y3 `
9 Y3 O/ D3 w' |0 F% v0 T
其他

# h6 `, w' ^1 Q1 d3 n" W' y/ A/ Y7 L" b偏相关系数（净相关系数）

' l2 b' Y: C- ^! F$ A" D4 H5 ~0 l5 m在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。
3 s0 R; }5 @5 Q. j
复共线性和有偏估计方法

在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

  V( z5 z" S7 T8 U% q/ U, P解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
# \4 q, X) V& k) {  g$ |$ c（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）

- y) ?) a2 q9 a  k7 p9 K8 @再如，主成分估计——可以去掉一些复共线性
1 a8 Y9 p7 M4 U
# o9 n+ v. Y7 m- k* y5 s小结

1 J3 c, n) v/ n! u- S采用回归模型进行建模的可取步骤如下：
' D& x4 t" O4 Y
; w1 U" S0 q$ o. s' O* @+ }& b. M建立回归模型
+ i8 n9 D6 ^' m. g+ N确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
! z& f" V, l" ]! O& C