数学建模之回归分析

杨利霞

9 c6 @7 ^( |, e( ^2 A) j! }

数学建模之回归分析

* {* ~% x5 G/ C2 s' @
/ f/ q, F; x0 z应用场景
/ s: D5 x8 R) `1. 建立回归模型
1.1 筛选变量
1.1.1 确定样本空间
$ ]" S& K9 p3 {/ T1.1.2 对数据进行标准化处理
1.1.3 变量筛选
/ M' S( T* g  \: v1.1.4 调整复判定系数
1.2 最小二乘估计
2. 回归模型假设检验
3 ]: ?) u" j$ K. E& t. F3. 回归参数假设检验和区间估计
6 b; R+ k! s; J1 S4. 拟合效果分析
7 u* v# W$ b$ C7 i4.1 残差的样本方差(MSE)
0 B/ @* `* R- ~5 B2 y+ N4.2 判定系数（拟合优度）
: T" n. R$ c: H4 t" A& _5. 利用回归模型进行预测
其他
: B6 z3 p& `  u! t" u* g( w* H  o' l偏相关系数（净相关系数）
复共线性和有偏估计方法
小结
应用场景

' y' _6 k& p) x$ Z4 S, a简单地说，回归分析是对拟合问题做的一种统计分析。
P.S. 曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间一个函数，使这个函数对那组数据拟合得最好。通常。函数的形式可以由经验、先验知识或对数据的直接观察决定，要做的工作是由数据用最小二乘法计算函数中的待定系数。
! h* ]! f/ h! t. E; I
; N3 @5 {4 k+ Q具体地说，回归分析在一组数据的基础上研究以下问题：

" o8 L& ^6 W, Y1. 建立回归模型

1.1 筛选变量

; g9 k: U! L- U3 [; r1.1.1 确定样本空间
- w+ Q% Q0 O3 m& Q; z
$ t" V5 R/ Z9 ^' [
6 r; Z  R& A4 w: c, T1 Q所构成的数据表可以写成一个n×m n \times mn×m维的矩阵。
1 n9 D0 i$ ?2 ~# h- G5 A& @- C* y. _
& m( R/ k$ K( K+ ^+ ~$ V+ P1.1.2 对数据进行标准化处理
. p7 t" E- ?" D0 u# h2 s4 j
  X' a1 l3 B" M（1）数据的中心化处理
  c5 o! m2 L* G/ k5 y1 Z! j实际上就是平移变化，
6 F  B( X: [* F1 n& U

) i0 C, V* F2 [这种处理，可以是样本的均值为0 00，同时它既不改变样本点的相互位置，也不改变变量间的相关性，但变换后，有许多技术上的便利。
( F* l2 z0 B  g* F5 f（2）数据的无量纲化处理
" \% A! q' ^1 s! b: o* @在实际问题中，不同变量的测量单位往往是不同的。
6 d! ~+ \( \+ b' h2 v. ^- x为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，是对不同的变量进行所谓的压缩处理——使每个变量的方差为1
4 [! d+ R* f8 j& K/ c6 x% i  e即，

  S9 U- l  P: l% ]! K
当然，也有其他消量纲的方法，此处不一一列举。
6 a" ]+ q5 K3 E/ H（3）数据的标准化处理——对数据同时进行“中心化-压缩”处理
2 K0 ~) K) C4 `% \0 k即，


5 Q- A/ d( y9 n2 W9 Q/ y1.1.3 变量筛选

3 X9 {. n$ p  v$ [; V) e: i0 R——选择哪些变量作为因变量的解释变量：

" _% x4 F* M# }% T一方面，希望尽可能不遗漏重要的解释变量
一方面，遵循参数节省原则(自变量数目过大时，模型计算复杂，且往往会扩大估计方差，降低模型精度)，使自变量的个数尽可能少
（1）穷举法
1 Y' s' _, U& z4 b  e列举出所有可能的潜在变量，再根据自变量的不同组合，选取合适的模型。
假设有m mm个潜在变量，则需要拟合与比较的方程个数为2m 2_m2
8 y: W# Z, \8 P3 O$ ?/ z$ h% rm
​       
  S* T6 I; n0 ^& [ ——当m mm较大时不现实
/ k0 E# \7 F" n: _, g* P& k
（2）向前选择变量法






6 W6 ~6 P4 g5 m3 t$ V（3）向后删除变量法
% l0 M" }9 m  Y1 B# p3 ]- }) H9 I
（4）逐步回归法——最常用
4 C' {  S% v$ V6 j. ~

( `8 w" a4 d# Z  H6 N6 S5 ^0 x1.1.4 调整复判定系数
) ?& ?) I& v$ h0 v
1.2 最小二乘估计

0 M5 l3 n) \+ \+ R6 @' V' z8 L% i一元线性回归、多元线性回归——略。
% v' X% b6 E3 |6 {& _
2. 回归模型假设检验

+ |. X% J* M. l5 w  v——检查自变量与因变量之间能否用一个线性关系模型表示（F FF检验）
( _/ i' J# ^- n- C. E8 ~
- c2 ?( `  P  |; p; P$ q具体检验方法见书，此处不再赘述。
" ~& P  o8 m, ]
- T/ l: K9 x4 ~. J2 @; Y& a3. 回归参数假设检验和区间估计
& i5 c" U8 f0 ?/ K/ j' [
/ Z6 s8 v9 W, N% {0 F* m) W! d——检查每一个自变量对因变量的影响是否显著（t tt 检验）

# K; E3 D, r% ^6 K. B具体检验方法见书，此处不再赘述。

! x5 q. w! k" i" u! U4. 拟合效果分析
, t' B# m; W5 k
; Z/ x  i' q- {9 U: D9 P; b4.1 残差的样本方差(MSE)
4 M- A) T& q" `, ~$ O
" N6 h; A  Z( O2 r# G0 t$ m
2 {" i* c3 A9 Q# g4.2 判定系数（拟合优度）
. }/ N4 j) ^$ U


5. 利用回归模型进行预测



其他

" [, u% ~( O) f  F- w: B! a偏相关系数（净相关系数）

5 Q$ S6 C. a% s! [1 V' W在研究两个变量之间的线性相关程度时，可考察这两个变量的简单相关系数。但在研究多个变量之间的线性相关程度时，单纯使用两两变量的简单相关系数往往具有虚假性。因为它只考虑了两个变量之间的相互作用，忽略了其他变量对这两个变量的影响。
. C$ F0 w8 N. x. J# o
复共线性和有偏估计方法
3 |/ r, s6 s- x* \' Z
在一些大型线性回归问题中，最小二乘估计不总令人满意，比如系数正负号与实际意义不符，这可能是因为回归自变量之间存在着近似线性关系——复共线性(Multicollinearity)

解决方法——牺牲无偏性，改用合适的有偏估计方法，以改善估计的稳定性
8 |3 o' U6 D& n" x* m例如，岭估计——可以显著改善矩阵列复共线性时最小二乘估计量的均方误差，增强估计的稳定性。
3 _0 @, o: ?) K) a# Q5 w, i（P.S. 均方误差Mean Squared Errors：一个好的估计应该具有较小的均方误差）

再如，主成分估计——可以去掉一些复共线性

小结
9 d/ h5 V- N# o9 L$ J2 R
# B0 M* ]( V0 U$ y: k采用回归模型进行建模的可取步骤如下：

建立回归模型
确立样本空间，对数据进行标准化处理，采用逐步回归法筛选自变量
原文链接：https://blog.csdn.net/xxiangyusb/article/details/99762451
3 w; N1 Z) ~, v8 a$ v
2 P+ m7 z4 _8 t6 J! A