数学建模之回归分析

杨利霞

! \% M- S* v) O

数学建模之回归分析

1 h" {: \4 H( c  Z* g: Y3 {. e
  J: |* ]& S) h- ?( Q6 D! A+ }应用场景
1. 建立回归模型
1.1 筛选变量
2 }% U1 G! S: J% C  T* @, ^4 M1 p( q1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
1 D2 w- V) T3 ~3 h( O; n0 _* w% i1.1.3 变量筛选
1.1.4 调整复判定系数
# s; b9 e  J% _8 ^4 f) L) x1.2 最小二乘估计
: o2 D1 D+ t0 k2 [: v8 G, Z7 n2. 回归模型假设检验
3. 回归参数假设检验和区间估计
4. 拟合效果分析
4.1 残差的样本方差(MSE)
& H8 o! X) s* u5 s% h/ \4.2 判定系数（拟合优度）
/ @4 K! _8 }! C4 @8 i5. 利用回归模型进行预测
其他
& M* U! C, g3 C+ h& f% o; y偏相关系数（净相关系数）
' R; e4 ?0 O: [- W复共线性和有偏估计方法
) l  M* D, l2 a: c) b- Z/ i小结
. ~" [5 P2 D% d3 o0 t, u3 Y应用场景
$ ^3 O3 w& }* Z( m" w
9 N5 Q4 S) e. U# P" i简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。

) i2 B0 i( k& D6 D具体地说，回归分析在一组数据的基础上研究以下问题：
$ }& r, [& k, o0 ?& W
) u3 }* _1 C% \+ J' c2 s1. 建立回归模型

1.1 筛选变量

1.1.1 确定样本空间

: V, S# e1 R1 Z* q
所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

1.1.2 对数据进行标准化处理

* _+ q2 Q7 [& s) a1 Y& t. w（1）数据的中心化处理
实际上就是平移变化，
& v& A6 Z8 k" p9 Y: u

* K( C7 S- ~' }8 Z- F& v这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
（2）数据的无量纲化处理
, h2 ]" w# O$ ~+ y1 l在实际问题中，不同变量的测量单位往往是不同的。
为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
即，
  h9 ]4 H* N/ Y3 w9 S7 x8 }

" g' r( t2 H* [/ y+ s- @0 {3 i- [7 \当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
即，


8 v  X# K! r: ~# _- a0 T: F1.1.3 变量筛选

  r& v+ B# f, \——选择哪些变量作为因变量的解释变量：

一方面，希望尽可能不遗漏重要的解释变量
一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
0 g3 w6 B0 h) r* |3 b/ b7 t（1）穷举法
列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
% T9 |% r. l' Y  V' B假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
m
; h; V, C5 R4 {" k0 `​       
——当m mm较大时不现实

$ K* L8 D* I9 W8 d! p（2）向前选择变量法
" m) L+ V6 e: z) K  F. E/ J
4 F8 M6 [% j1 C# I  b+ a% y
3 X  Q8 N% p1 s

2 Y% J8 N; |1 Y+ O, y/ s6 C8 f

/ J4 t. }; Q8 C( o（3）向后删除变量法

; q4 N8 H: D  O( W1 g7 N- J（4）逐步回归法——最常用
7 I' F9 n% A5 D; C# g

1.1.4 调整复判定系数
4 h! ]: x6 |9 V% Y4 J
1.2 最小二乘估计
) @1 Y5 X4 T4 a- D/ @' N
一元线性回归、多元线性回归——略。

2. 回归模型假设检验

5 \+ O6 i3 }3 ^——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）
1 r+ n4 x' |: N3 B- h6 L
) W. t$ d7 u( l5 h9 m具体检验方法见书，此处不再赘述。
4 Q5 f. O0 x8 w1 a) L, i; h
. P( r6 j. Z. b  [0 o$ W3 |9 I3. 回归参数假设检验和区间估计

——检查每一个自变量对因变量的影响是否显著（t tt 检验）

8 T* \+ i7 C" v! ^! L具体检验方法见书，此处不再赘述。

* P+ J$ o, Z; q7 L  ~+ r4. 拟合效果分析
0 [; D3 ]7 g$ y$ O- Q
4.1 残差的样本方差(MSE)


# }6 N# ~. }" ?# C- _4.2 判定系数（拟合优度）
( T/ l' T( j! Z$ J3 |5 D1 Q- l
- ^9 }# P8 A# r% |* ?( f/ D
' H- ]" i6 J! J. b* e4 c
% x+ l5 T4 Z* \: \+ s" o5 Z5. 利用回归模型进行预测



其他

偏相关系数（净相关系数）

在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

复共线性和有偏估计方法
7 r* @, m0 e0 E8 S& A. @
在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
* z1 e" S& ]7 X# Q/ l例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
8 \4 \% K' p$ V0 f# R& p6 e
7 q9 j0 ?& U# a& |  |再如，主成分估计——可以去掉一些复共线性

小结
8 l! Q& }/ Z2 p8 k
8 l. v, ~% _  }4 B" `采用回归模型进行建模的可取步骤如下：

% @3 r+ f# R$ ]4 z+ @# l0 _建立回归模型
( u) ~- z7 l. v+ ?. V确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
8 r: H8 a' N  X" H3 O8 A8 Q原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
  H  G( R, y0 w, l* H: e  R