数学建模之回归分析

杨利霞

数学建模之回归分析

. o* S- A$ G0 W1 w7 M; f2 [# Q+ l应用场景
$ Y( T2 b4 w# I1 X, O1. 建立回归模型
( z' E$ c# ]9 Y  B: R  ?* O& E1.1 筛选变量
1.1.1 确定样本空间
8 y) O  T4 C0 i1.1.2 对数据进行标准化处理
1 d' p! N2 x! u: x1.1.3 变量筛选
. Q9 j5 r: `( y- G2 D% H5 R1.1.4 调整复判定系数
1.2 最小二乘估计
2. 回归模型假设检验
5 e. M( T% o1 E* \4 Y5 L1 R3. 回归参数假设检验和区间估计
  B. f6 C) U/ Q& `; \! _: h' x4. 拟合效果分析
& ^1 U7 f! c$ `4.1 残差的样本方差(MSE)
8 _# b' F+ P7 q1 Q! m0 r4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
其他
偏相关系数（净相关系数）
& Y, n" }9 n7 z* K- K复共线性和有偏估计方法
小结
应用场景

简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。

0 D6 I# y) h6 U- D  V* g具体地说，回归分析在一组数据的基础上研究以下问题：
- d9 f$ w) B/ M+ y3 I
1. 建立回归模型

1.1 筛选变量

1 q5 q: `1 P+ _3 o! e1.1.1 确定样本空间
4 I# |: W8 P+ F

所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。
# r3 Z9 c) \4 n
4 |7 H( ?- s$ r- s& v, y1.1.2 对数据进行标准化处理

$ |1 e( D* s. L( r& f7 E% ~（1）数据的中心化处理
" u! m: [, {* S/ N. B4 C; v' A2 c0 q5 U实际上就是平移变化，


  t, \% t, x: h0 _3 c) D% K这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
（2）数据的无量纲化处理
在实际问题中，不同变量的测量单位往往是不同的。
/ q3 K. E6 _; V0 ~4 b# q. _9 \) ^为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
! f' M% N6 C" }  r0 G即，

- n! N4 [3 `' R; h( V' T1 |
当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
1 ^, G. V7 n* r" ]' R* M( H即，

9 Z8 c0 G9 ~6 f' V
/ b4 ]4 N9 z) m4 v, W1.1.3 变量筛选

——选择哪些变量作为因变量的解释变量：

# L8 g* X9 J. z一方面，希望尽可能不遗漏重要的解释变量
$ G/ W0 s9 F5 I0 `$ O" j* l一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
3 h1 g) y* Q. ]. O+ f+ o（1）穷举法
8 T0 C+ C7 t) @2 J5 e6 }列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
0 B+ r9 J8 i" p假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
m
/ N. w: c4 j$ o​       
5 x! d- B' o$ f: X$ m4 O" W: o' m ——当m mm较大时不现实

（2）向前选择变量法
! T2 r5 }: i  N9 B8 ~) Z  c

: j( f& C5 Y; i! O( n  H  x
: R4 {- ~4 e) L: |4 H* D


+ M% Y' q1 a4 z9 ?/ P（3）向后删除变量法

4 x5 Z0 T/ Q( |% _/ c（4）逐步回归法——最常用
/ \+ m! S/ w" X2 V+ a
# e& |( m8 k9 U# {9 b. J7 @
1.1.4 调整复判定系数
* h* e. M0 s: z1 j) j. N
1.2 最小二乘估计

/ ?! X2 g1 {& I$ c/ l0 o$ i一元线性回归、多元线性回归——略。
: F2 c5 o9 I9 O. }/ R6 [) U
2. 回归模型假设检验

/ R/ l$ i0 U# t" c- w——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

: L, R$ e9 G, t' T9 S& k. v: R具体检验方法见书，此处不再赘述。
8 }. H; J9 [( d: t& Y8 W
6 \# Y2 P. Y4 J3 Z3. 回归参数假设检验和区间估计
; N3 O) }+ `( `
* q( v- Z$ r+ N3 ~. j  `5 ~4 u6 V——检查每一个自变量对因变量的影响是否显著（t tt 检验）

# U0 \: b0 y, R- n具体检验方法见书，此处不再赘述。

4. 拟合效果分析
6 v. j: H/ R" a& t
- B% @3 ]" j, b5 ?4.1 残差的样本方差(MSE)
- C; }1 `. ~# a

4.2 判定系数（拟合优度）
9 x- Z3 u5 q5 m2 P6 e8 y9 S$ ^


/ g; `( _# ~  ]/ w( C5. 利用回归模型进行预测
* Z: O/ |0 S& R

1 @4 P, j2 W. M! Y4 {) f1 N, B. ^
其他

偏相关系数（净相关系数）

在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

$ q; ~# ]. P  E/ f复共线性和有偏估计方法
  u" [3 L- p6 D& K/ `8 K
在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
- F1 G0 X0 r8 o  M% \% }（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）

再如，主成分估计——可以去掉一些复共线性
& ^6 o- x# S% F3 n: K. C# V
' F0 e- I" u' F3 \/ i& J! l小结

4 Z* P* N/ [  Y. N) n1 p# D" L采用回归模型进行建模的可取步骤如下：

2 w2 D  B) k) V* h- l建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
6 \$ [$ Y8 |3 Y% L0 ?原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451


0 c: C: m- c8 v9 h/ g# e