查看: 2763|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1189 主题	4 听众	2934 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |正序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing3 V, m' W% Q2 p9 S: m6 E1 ?2 r+ M
# }% \- ? K4 J z B0 c' m
from sklearn.model_selection import train_test_split
\\" j. c9 B\\" W3 z5 e
0 [, e3 _9 \' K. [. M* p& s
from sklearn.preprocessing import StandardScaler
) i9 P) n' K2 K, J1 S& S
- F# }+ F# V: ^) v8 H: u8 ?
from sklearn.linear_model import LinearRegression0 t D' j% ], {' [/ X K( n
5 W1 b\\" A2 p# P
from sklearn.metrics import mean_squared_error/ X d, L3 _ w( A; A3 x
, H; Y7 l1 S4 O6 Q- a2 K% {
# e( J9 ^! k) r; Y* _& Y
, r% F, ~) M% f/ h7 n\\" W9 G. k
# 加载数据集
7 ?% C4 A/ \. r, }% i
' m\\" U\\" N\\" u9 m
housing = fetch_california_housing()
$ v( P4 k4 b* L% d G
. A3 K; m' f4 }5 c5 |$ \: m# Y# o
X, y = housing.data, housing.target5 m\\" c& C\\" Q2 r$ ~5 f) D0 h% z
0 |( {# U. O. g& y k- q
- c\\" e; o! n; c6 @( H1 `
5 ~4 Z8 D, T( F; D& W. x! x
# 划分训练集和测试集
& y) ^4 h0 ~6 L2 Z
& }. Y; Z' M4 A4 p8 q
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# c2 d4 g) B6 P
g1 d\\" _- o; D4 ?4 n
) \# N6 B5 D& g& ~! u8 F. y; h
1 ]( c, z8 w7 w% b* z
# 数据预处理：标准化
$ X9 R N# L+ S7 J: c; {
! c5 @5 O Y- D( L/ J. ^8 G# z
scaler = StandardScaler()
2 ~( u, N. @6 f; \0 q5 i
3 B7 d/ ~4 ^7 a
X_train_scaled = scaler.fit_transform(X_train)
4 g; x+ N* d, f7 g. ^9 Y- \
- v8 w! ?7 w; l\\" u& u+ V
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing3 V, m' W% Q2 p9 S: m6 E1 ?2 r+ M

# }% \- ?  K4 J  z  B0 c' m

from sklearn.model_selection import train_test_split 
\\" j. c9 B\\" W3 z5 e
0 [, e3 _9 \' K. [. M* p& s

from sklearn.preprocessing import StandardScaler 
) i9 P) n' K2 K, J1 S& S
- F# }+ F# V: ^) v8 H: u8 ?

from sklearn.linear_model import LinearRegression0 t  D' j% ], {' [/ X  K( n

5 W1 b\\" A2 p# P
from sklearn.metrics import mean_squared_error/ X  d, L3 _  w( A; A3 x

, H; Y7 l1 S4 O6 Q- a2 K% {

# e( J9 ^! k) r; Y* _& Y

, r% F, ~) M% f/ h7 n\\" W9 G. k

# 加载数据集 
7 ?% C4 A/ \. r, }% i
 
' m\\" U\\" N\\" u9 m
housing = fetch_california_housing() 
$ v( P4 k4 b* L% d  G
 
. A3 K; m' f4 }5 c5 |$ \: m# Y# o
X, y = housing.data, housing.target5 m\\" c& C\\" Q2 r$ ~5 f) D0 h% z

0 |( {# U. O. g& y  k- q

- c\\" e; o! n; c6 @( H1 `

5 ~4 Z8 D, T( F; D& W. x! x

# 划分训练集和测试集 
& y) ^4 h0 ~6 L2 Z
 
& }. Y; Z' M4 A4 p8 q
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# c2 d4 g) B6 P

g1 d\\" _- o; D4 ?4 n

) \# N6 B5 D& g& ~! u8 F. y; h

1 ]( c, z8 w7 w% b* z

# 数据预处理：标准化 
$ X9 R  N# L+ S7 J: c; {
! c5 @5 O  Y- D( L/ J. ^8 G# z

scaler = StandardScaler() 
2 ~( u, N. @6 f; \0 q5 i
 
3 B7 d/ ~4 ^7 a
X_train_scaled = scaler.fit_transform(X_train) 
4 g; x+ N* d, f7 g. ^9 Y- \
- v8 w! ?7 w; l\\" u& u+ V

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
' }# {- U' K0 x
model = LinearRegression()
! j$ A t7 @( l4 ~
\" ^. T: b' P8 g& j* b( T k6 t
# 训练模型
1 o$ i$ s$ ^! a2 ]( c3 v
model.fit(X_train_scaled, y_train)
\" g1 M! \# D: b# e) l) u# ~
$ E9 N. `4 @8 j7 j: j# @; o
# 预测测试集
2 U& A2 V/ k# v) f\" `/ A
y_pred = model.predict(X_test_scaled)
* z: L& H4 H. I
* C. M/ O2 }2 ^7 y- E2 G
# 评估模型4 Y\" L% d- ?8 y# V5 B
mse = mean_squared_error(y_test, y_pred)- K* v0 ^- R\" n\" U\" ?+ ]% u
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
5 {/ K- N- {9 O. |! ]' o3 A
4 ^: X: E m( T! ]! f0 C; V2 E
# 特征选择
; g7 H( U2 e) ]
selector = SelectKBest(score_func=f_regression, k=5)
$ w5 e9 c- ]6 U: o\" R' ^7 U
X_train_selected = selector.fit_transform(X_train_scaled, y_train)( H( g2 e- { p/ C: {; ^: x
X_test_selected = selector.transform(X_test_scaled)
, t3 p4 ^, N2 p7 N
' U& T# x' j' p0 t/ f
# 使用选择的特征重新训练模型& z y: m4 ?% G/ S
model.fit(X_train_selected, y_train)
; y9 ~0 S ~# K) l- L
y_pred_selected = model.predict(X_test_selected)1 v( Z\" Q$ @4 Z4 }5 c
( P' R1 n9 ]/ v( }* Z: }. g% R
# 评估8 O8 f3 |7 W1 s+ m2 w5 v
mse_selected = mean_squared_error(y_test, y_pred_selected)
! r& D9 B3 s: V7 c1 L. Y7 e
print(f"Mean Squared Error with selected features: {mse_selected}")