数学建模之回归分析

杨利霞

数学建模之回归分析

! V  z$ d* {! r* _: ~: Z4 d应用场景
. u9 Q6 _8 i% @8 _1. 建立回归模型
1.1 筛选变量
1.1.1 确定样本空间
1.1.2 对数据进行标准化处理
& e' X. Q# g% w* w1.1.3 变量筛选
+ O6 h5 W. h; z2 O1.1.4 调整复判定系数
& K7 r6 k0 d. B2 R7 g2 y) `2 u1.2 最小二乘估计
5 i' g$ ]; a4 D8 |5 R2. 回归模型假设检验
3. 回归参数假设检验和区间估计
7 t9 P; w+ ^& e( V! @4 q4. 拟合效果分析
4.1 残差的样本方差(MSE)
) f0 h7 K: B* S, b& Q& A* @8 L1 e6 I8 p4.2 判定系数（拟合优度）
5. 利用回归模型进行预测
其他
偏相关系数（净相关系数）
: C7 P+ l7 U& V, ?+ e8 m1 o复共线性和有偏估计方法
小结
: h' E$ a0 ~4 T- O( A6 G0 n- a8 m应用场景

' [3 d( Q4 T- w( u. E! j8 S简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
: {# b8 ?' a  Z, U. q- D0 S
& e6 D! V8 j$ D2 V4 U具体地说，回归分析在一组数据的基础上研究以下问题：

1. 建立回归模型

1.1 筛选变量

1.1.1 确定样本空间

. `4 Z9 C& D  Z5 V7 g
所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。

% m$ c  e6 J& G' q! Q& m! o1.1.2 对数据进行标准化处理
; B& w4 x! ~7 w+ S) f" S; C
$ `% |0 o. Q, A2 o; c* y+ K6 ]（1）数据的中心化处理
实际上就是平移变化，
. K2 p; g7 K& {4 p

这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
（2）数据的无量纲化处理
在实际问题中，不同变量的测量单位往往是不同的。
为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
9 ?6 S7 S8 j7 \: b, R4 V, v即，

' U: `6 u# B+ C3 {; D
当然，也有其他消量纲的方法，此处不一一列举。
（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
; A2 a7 Y, M4 I0 I0 H* m0 ^9 ^即，
4 u& r3 y/ V1 h6 d9 c2 h, x! j* ]+ W

1.1.3 变量筛选

( g! N- t4 O2 X. R7 M  J8 ?2 X——选择哪些变量作为因变量的解释变量：

一方面，希望尽可能不遗漏重要的解释变量
一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
（1）穷举法
列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
* K! M. m9 d* z# i0 T% x假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
* @$ b$ z! _# s6 \3 ]$ Wm
​       
——当m mm较大时不现实
% |% p7 X) ^1 L# `
6 K8 }  j5 U& q; T（2）向前选择变量法
1 j% b5 l* G6 a* o# ]0 K# i
+ I* Z% B" `3 T1 N) E0 g! ]) ]) Z5 z( ~
& T6 h7 u9 a3 _+ k& c



（3）向后删除变量法
1 T/ C" j8 j) A: |" H$ Z
（4）逐步回归法——最常用
+ U3 |% C5 w4 j/ p6 I& Y

, x  r, \, s2 s7 c& D* s1.1.4 调整复判定系数
: ^& p) i8 h$ K, {2 j. V
& G/ T& x6 \% L1.2 最小二乘估计
' _" H- B9 z( L8 P1 ]
! g) W# z5 k% Z" _一元线性回归、多元线性回归——略。

. c& a4 O% D( I* l- n* c2 p1 f. X" h2. 回归模型假设检验

——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）

0 T" t% s% `$ |8 S具体检验方法见书，此处不再赘述。

3. 回归参数假设检验和区间估计

- o0 h. o; G' o  q  Q" a——检查每一个自变量对因变量的影响是否显著（t tt 检验）
) }( ]) N9 P$ m/ M
具体检验方法见书，此处不再赘述。

" T& e! }6 W3 i! \/ z( u4. 拟合效果分析

4.1 残差的样本方差(MSE)
- `4 U* ~8 x/ q8 H9 L9 H8 g
. [) }' [0 B2 U7 u! |! k
4.2 判定系数（拟合优度）
. c* K  J& Z0 t' F; x5 @: Z
& I, Y$ ~2 V/ D4 e- M9 Q7 ]' g! B/ ?

5. 利用回归模型进行预测
3 F/ J5 ]& Y+ m3 p2 D, M' f

& c; o% |, [$ Z: H* p8 B7 M
其他

1 s9 e% I  [+ u5 J7 D8 k, H偏相关系数（净相关系数）

在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。

, k9 u3 z8 v% W. u复共线性和有偏估计方法

; q. O+ z% |* g9 {' I在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

9 z8 F. S1 c, G. e+ z* N: J4 \3 [解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）
) B* ~) T/ m6 o5 m7 B* s
再如，主成分估计——可以去掉一些复共线性
+ _3 c% m# q' p2 s3 a7 p5 Z
) ^2 u. m, y/ A0 a% X9 v2 r小结

2 _# G% \6 J7 H8 Z3 w采用回归模型进行建模的可取步骤如下：

1 _) x. }% }. M0 q$ I! }建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
& i' X4 q8 \& G+ W$ ~+ r- v! }
! P2 n( O; h1 ~4 d3 i, G
; S% V$ C/ S) `( D- G( I5 d; Q5 D: h