查看: 2708|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1186 主题	4 听众	2922 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
( |; b/ ~0 w% J0 S2 x) w1 O; z% D: x
- [# s: u\\" k, g9 ?
from sklearn.model_selection import train_test_split; h: A1 D- ^+ l8 P. D4 ~1 p
% @8 d\\" ?$ W% ?5 o
from sklearn.preprocessing import StandardScaler\\" i- {/ z% `1 K
. d3 h; q; D5 n/ T
from sklearn.linear_model import LinearRegression1 A) N1 V8 R1 B4 K
+ r: a9 w2 r1 Z/ l\\" j9 t
from sklearn.metrics import mean_squared_error
4 @0 f* N6 y g# R: n @, j( A) |
j. d\\" ]- g- B6 g5 w
# h1 j! Q( m( |% g: p
- `* |0 J\\" L+ e
# 加载数据集0 b. L8 K% O- V$ S( ?) `
' P; |) l w# ?* [ \9 Q- J
housing = fetch_california_housing()
\\" ~% y& c: N) w7 H! V
( l2 ~8 y1 H! f+ @
X, y = housing.data, housing.target3 N7 W n; y2 U6 y2 Z5 g. L) h
& d\\" _5 H+ {3 m$ |
5 V+ p- w0 n. I5 D& x. d5 B
, P, P: B9 z& Y
# 划分训练集和测试集
o: O, h1 ?# L/ L# c
% `3 W* Z5 K$ Y$ p\\" q4 A
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)8 |; E9 Q) ]+ l {1 ?
# H* E\\" N8 Y/ O! _: d# n
+ [2 E8 V8 O* f( n6 q4 P9 u
$ E' }6 H4 J) C4 M5 V
# 数据预处理：标准化
/ p. ^1 }3 ^& ?# G4 E0 G g8 v
4 A2 {9 S) w' O$ K7 {0 I& S7 q: j! J
scaler = StandardScaler()\\" Q! c% Y4 R( ]! B4 `) {& z0 `+ Z% o
' A# t) `/ W4 J
X_train_scaled = scaler.fit_transform(X_train)
! d; e. s4 \3 f
) O5 e+ ]3 q! w
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
( |; b/ ~0 w% J0 S2 x) w1 O; z% D: x
- [# s: u\\" k, g9 ?

from sklearn.model_selection import train_test_split; h: A1 D- ^+ l8 P. D4 ~1 p

% @8 d\\" ?$ W% ?5 o

from sklearn.preprocessing import StandardScaler\\" i- {/ z% `1 K

. d3 h; q; D5 n/ T
from sklearn.linear_model import LinearRegression1 A) N1 V8 R1 B4 K

+ r: a9 w2 r1 Z/ l\\" j9 t
from sklearn.metrics import mean_squared_error 
4 @0 f* N6 y  g# R: n  @, j( A) |
  j. d\\" ]- g- B6 g5 w

# h1 j! Q( m( |% g: p
- `* |0 J\\" L+ e

# 加载数据集0 b. L8 K% O- V$ S( ?) `

' P; |) l  w# ?* [  \9 Q- J
housing = fetch_california_housing() 
\\" ~% y& c: N) w7 H! V
 
( l2 ~8 y1 H! f+ @
X, y = housing.data, housing.target3 N7 W  n; y2 U6 y2 Z5 g. L) h

& d\\" _5 H+ {3 m$ |

5 V+ p- w0 n. I5 D& x. d5 B

, P, P: B9 z& Y

# 划分训练集和测试集 
  o: O, h1 ?# L/ L# c
 
% `3 W* Z5 K$ Y$ p\\" q4 A
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)8 |; E9 Q) ]+ l  {1 ?

# H* E\\" N8 Y/ O! _: d# n

+ [2 E8 V8 O* f( n6 q4 P9 u
 
$ E' }6 H4 J) C4 M5 V
# 数据预处理：标准化 
/ p. ^1 }3 ^& ?# G4 E0 G  g8 v
4 A2 {9 S) w' O$ K7 {0 I& S7 q: j! J

scaler = StandardScaler()\\" Q! c% Y4 R( ]! B4 `) {& z0 `+ Z% o

' A# t) `/ W4 J
X_train_scaled = scaler.fit_transform(X_train) 
! d; e. s4 \3 f
) O5 e+ ]3 q! w

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型+ `* C1 ^+ V/ n7 C# y, K z% a
model = LinearRegression()8 O( M. L& B2 A/ ^. w1 t/ Z
- e/ g* J, `3 Z
# 训练模型, z# c0 }5 t) R+ B\" s& q
model.fit(X_train_scaled, y_train)- m; S& a1 w+ ^0 u6 ^5 O) t
& H* S+ `6 A$ s# A p) x
# 预测测试集
4 q- {' n# G. p8 P
y_pred = model.predict(X_test_scaled)5 q+ ~. q/ |9 X7 V% f+ R
e- s4 U& c. G% N, f& [: a U; Q0 I
# 评估模型% B% k+ V, ]$ Y$ w\" w
mse = mean_squared_error(y_test, y_pred)- R) R& [3 J; Y- V3 [( n# g8 c
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression# N& l3 P7 `; y% R! x7 I& Z
8 b* u4 @2 b# l+ I4 y G( W
# 特征选择& A, _3 k# L& p) Y$ B
selector = SelectKBest(score_func=f_regression, k=5)4 K( h7 P. W) C& c c
X_train_selected = selector.fit_transform(X_train_scaled, y_train)& G1 A: w5 o) \3 @5 \
X_test_selected = selector.transform(X_test_scaled)9 u9 ?\" m W9 L# J4 N7 i! E5 C0 L
/ z, I4 i3 l! r\" G( b2 M+ t5 r4 `
# 使用选择的特征重新训练模型' D! }\" I: n1 i( h3 _
model.fit(X_train_selected, y_train)
1 W9 ]* |2 V& @- u
y_pred_selected = model.predict(X_test_selected) U: x- e8 y' S9 W: [/ Z$ [# |
6 G4 ^6 ^; T! S+ c: [; ~
# 评估& v8 d/ y6 M9 C
mse_selected = mean_squared_error(y_test, y_pred_selected)7 b! T0 G3 Y9 b4 G. s% y9 k5 q3 M- }
print(f"Mean Squared Error with selected features: {mse_selected}")