查看: 2811|回复: 0

偏最小二乘回归分析

字体大小: 正常放大

1192 主题	4 听众	2946 积分

该用户从未签到

电梯直达

1^#

发表于 2023-11-30 16:59 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

偏小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。
偏小二乘回归分析在建模过程中集中了主成分分析，典型相关分析和线性回归分析方法的特点，因此在分析结果中，除了可以提供一个更为合理的回归模型外，还可以同时完成一些类似于主成分分析和典型相关分析的研究内容，提供更丰富、深入的一些信息。

import numpy as np
# n2 u' c* p# g4 @
from sklearn.cross_decomposition import PLSRegression/ M4 @' V) [% m3 Z% l2 i
from sklearn.preprocessing import StandardScaler2 D3 e$ ]# v& F$ ?( a; _/ x' B
import matplotlib.pyplot as plt$ g k9 ~! A8 [ g& b; z
3 s1 R' p2 T) T9 L
# 原始数据，自变量X和因变量y\\" z2 W+ Z) x( B
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]), i$ x _4 @' s9 y
y = np.array([1, 2, 3, 4])9 y: E% S$ e0 U; A0 Z
& t$ s L2 p6 e
# 对自变量进行标准化处理* s7 d9 D- Z! ~8 N8 x+ v1 u. M$ P# `% \& {
scaler = StandardScaler()
9 a\\" G+ R! u; d* c: @% O& I0 d: @
X_scaled = scaler.fit_transform(X)
( @8 H* a/ ^7 t, C) L! `
/ t/ I$ \: I7 c\\" r! `% E
# 创建PLSRegression对象，并指定主成分个数为2- q. A \5 i* j/ n* }5 U- r
pls = PLSRegression(n_components=2)
& ?/ s' o$ X# t8 r3 T
$ i }7 W8 p( N; }\\" d8 c4 m
# 进行偏最小二乘回归分析7 s\\" n @, `9 }* i* v5 \
pls.fit(X_scaled, y)
: Q4 H8 O# _; v _
3 r) e4 P; q U( f
# 获得预测值
' a/ A4 Z, d8 ]0 b! p- Y% n
y_pred = pls.predict(X_scaled)
$ j; D\\" A& i- l6 Q' `1 D
5 N4 ^9 E& s5 K5 U9 `! o- l
# 绘制原始数据和预测值
, h$ K- E5 X$ }* B
plt.figure(figsize=(8, 6))
: v/ w\\" D8 @- R\\" V; W& b( P6 I
plt.scatter(y, y_pred, c='b', label='Predicted vs. Observed')
: c6 k1 n1 I- m\\" |3 ?9 ]
plt.plot([min(y), max(y)], [min(y), max(y)], 'k--', lw=2, label='Perfect Fit')
8 b4 T+ s0 j/ V\\" S+ q7 f m( T
plt.xlabel('Observed')
8 ]# I+ b, B x- S
plt.ylabel('Predicted')- K1 l0 o5 e/ f5 L, t! V5 @
plt.title('PLS Regression')
, c& N+ @5 Q6 X
plt.legend()
5 u {. {0 H `4 H% B
plt.grid(True)
$ R7 P/ p9 r/ J) E3 w t' Y6 d
plt.show()( K$ Z! z, t) W& v/ R7 v, {
/ `$ T! E0 R+ E

import numpy as np 
# n2 u' c* p# g4 @
from sklearn.cross_decomposition import PLSRegression/ M4 @' V) [% m3 Z% l2 i

from sklearn.preprocessing import StandardScaler2 D3 e$ ]# v& F$ ?( a; _/ x' B

import matplotlib.pyplot as plt$ g  k9 ~! A8 [  g& b; z

3 s1 R' p2 T) T9 L
# 原始数据，自变量X和因变量y\\" z2 W+ Z) x( B

X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]), i$ x  _4 @' s9 y

y = np.array([1, 2, 3, 4])9 y: E% S$ e0 U; A0 Z

& t$ s  L2 p6 e
# 对自变量进行标准化处理* s7 d9 D- Z! ~8 N8 x+ v1 u. M$ P# `% \& {

scaler = StandardScaler() 
9 a\\" G+ R! u; d* c: @% O& I0 d: @
X_scaled = scaler.fit_transform(X) 
( @8 H* a/ ^7 t, C) L! `
 
/ t/ I$ \: I7 c\\" r! `% E
# 创建PLSRegression对象，并指定主成分个数为2- q. A  \5 i* j/ n* }5 U- r

pls = PLSRegression(n_components=2) 
& ?/ s' o$ X# t8 r3 T
$ i  }7 W8 p( N; }\\" d8 c4 m

# 进行偏最小二乘回归分析7 s\\" n  @, `9 }* i* v5 \

pls.fit(X_scaled, y) 
: Q4 H8 O# _; v  _
 
3 r) e4 P; q  U( f
# 获得预测值 
' a/ A4 Z, d8 ]0 b! p- Y% n
y_pred = pls.predict(X_scaled) 
$ j; D\\" A& i- l6 Q' `1 D
 
5 N4 ^9 E& s5 K5 U9 `! o- l
# 绘制原始数据和预测值 
, h$ K- E5 X$ }* B
plt.figure(figsize=(8, 6)) 
: v/ w\\" D8 @- R\\" V; W& b( P6 I
plt.scatter(y, y_pred, c='b', label='Predicted vs. Observed') 
: c6 k1 n1 I- m\\" |3 ?9 ]
plt.plot([min(y), max(y)], [min(y), max(y)], 'k--', lw=2, label='Perfect Fit') 
8 b4 T+ s0 j/ V\\" S+ q7 f  m( T
plt.xlabel('Observed') 
8 ]# I+ b, B  x- S
plt.ylabel('Predicted')- K1 l0 o5 e/ f5 L, t! V5 @

plt.title('PLS Regression') 
, c& N+ @5 Q6 X
plt.legend() 
5 u  {. {0 H  `4 H% B
plt.grid(True) 
$ R7 P/ p9 r/ J) E3 w  t' Y6 d
plt.show()( K$ Z! z, t) W& v/ R7 v, {

/ `$ T! E0 R+ E

在上述代码中，我们首先定义了原始数据矩阵X和因变量向量y，然后创建了一个PLSRegression对象并指定保留的主成分个数为2。接下来，使用fit()方法进行偏最小二乘回归分析，并使用coef_属性获取回归系数。最后，使用predict()方法对原始数据进行预测，并获得预测值y_pred。请根据实际情况调整原始数据和保留的主成分个数，并根据需要对结果进行解释和分析。
运行上述代码，将绘制散点图来展示观察值（原始数据）与预测值之间的关系。如果模型拟合良好，散点图中的点应该基本落在对角线上。如果点主要集中在对角线上方，则预测值高估了观察值；如果点主要集中在对角线下方，则预测值低估了观察值。在理想情况下，所有点都应该在对角线上。