查看: 2703|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1186 主题	4 听众	2922 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing. U- e1 ]0 s4 f# R! }
& j! v# K, L7 { Y8 s3 J
from sklearn.model_selection import train_test_split4 U\\" {# s0 l# r( _; y. e8 z7 s. N& a
( o+ P% x( z6 F6 _3 D& o. ~; j
from sklearn.preprocessing import StandardScaler
2 z. _) { q7 s/ C5 l
1 T1 M9 U/ i. D( C. }
from sklearn.linear_model import LinearRegression+ N+ \1 e& P+ e0 [. u7 u9 n
\\" ]: s& {\\" P- M* {' r/ B% ?8 _ l
from sklearn.metrics import mean_squared_error
A9 O0 ?. h$ o4 _8 O/ B6 e
2 c1 w3 X# e8 e6 Z3 i- [
0 @' A5 i. H6 U2 q. g; X
& M6 N0 l8 D1 J
# 加载数据集
% D\\" n) W6 a% ?# g% m
% i6 m* j5 j( |: n6 b% K. ^) v
housing = fetch_california_housing()/ H- q7 W% w3 R5 l: o
3 U7 k. c3 t9 Z* e8 ~
X, y = housing.data, housing.target1 m! H5 {1 d3 ^, d( K# ~+ \7 E
/ e- [# d; ~. [3 b* m# ~1 M
0 M; h6 K( o: _
. ^5 X u4 o# s }- t
# 划分训练集和测试集( }$ m5 y0 x1 L$ Q
6 h* X% ?\\" z3 b7 _8 v- o
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
1 E: L0 T t- B- W5 [
3 S6 Q$ `; a0 u# |\\" H; f
r* `9 |7 a! ^- p
# 数据预处理：标准化\\" I4 d9 @* u7 e4 z+ W/ x
! O0 G/ }9 J7 F) g, g+ p1 q3 n
scaler = StandardScaler()0 }3 U$ o! m4 j! w% ^
+ C0 P3 Z3 b+ S* c0 ~' z: f. i
X_train_scaled = scaler.fit_transform(X_train)8 l' x, n) u/ O7 L2 ?* [- O
6 L9 D4 L, U( ~, E: a2 O, q* n, f
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing. U- e1 ]0 s4 f# R! }

& j! v# K, L7 {  Y8 s3 J

from sklearn.model_selection import train_test_split4 U\\" {# s0 l# r( _; y. e8 z7 s. N& a

( o+ P% x( z6 F6 _3 D& o. ~; j
from sklearn.preprocessing import StandardScaler 
2 z. _) {  q7 s/ C5 l
 
1 T1 M9 U/ i. D( C. }
from sklearn.linear_model import LinearRegression+ N+ \1 e& P+ e0 [. u7 u9 n

\\" ]: s& {\\" P- M* {' r/ B% ?8 _  l

from sklearn.metrics import mean_squared_error 
  A9 O0 ?. h$ o4 _8 O/ B6 e
 
2 c1 w3 X# e8 e6 Z3 i- [
 
0 @' A5 i. H6 U2 q. g; X
& M6 N0 l8 D1 J

# 加载数据集 
% D\\" n) W6 a% ?# g% m
 
% i6 m* j5 j( |: n6 b% K. ^) v
housing = fetch_california_housing()/ H- q7 W% w3 R5 l: o

3 U7 k. c3 t9 Z* e8 ~

X, y = housing.data, housing.target1 m! H5 {1 d3 ^, d( K# ~+ \7 E

/ e- [# d; ~. [3 b* m# ~1 M

0 M; h6 K( o: _
. ^5 X  u4 o# s  }- t

# 划分训练集和测试集( }$ m5 y0 x1 L$ Q

6 h* X% ?\\" z3 b7 _8 v- o

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
1 E: L0 T  t- B- W5 [
 
. H# S! @\\" v3 M  X: j  f( I: |8 \2 ?
 
3 S6 Q$ `; a0 u# |\\" H; f
  r* `9 |7 a! ^- p

# 数据预处理：标准化\\" I4 d9 @* u7 e4 z+ W/ x

! O0 G/ }9 J7 F) g, g+ p1 q3 n

scaler = StandardScaler()0 }3 U$ o! m4 j! w% ^

+ C0 P3 Z3 b+ S* c0 ~' z: f. i
X_train_scaled = scaler.fit_transform(X_train)8 l' x, n) u/ O7 L2 ?* [- O

6 L9 D4 L, U( ~, E: a2 O, q* n, f
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
) M( b1 B7 [& G, q7 j' q# `
model = LinearRegression()
( L, h. X2 J1 t1 M
! h, _\" `, I* h0 Y0 Q
# 训练模型
* E8 X. {4 H( ]/ _; A
model.fit(X_train_scaled, y_train)) a `+ d; j2 j4 x e# I
+ `' ] }+ `' E
# 预测测试集
- a# V+ z/ F, V% j' z
y_pred = model.predict(X_test_scaled)
7 O; Z\" \: S( p+ U3 l
! n6 X' j6 l$ S Q: V
# 评估模型
* Y- q' p. B8 A
mse = mean_squared_error(y_test, y_pred)\" W' v) \0 [\" \& D6 h
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression# k: J; |* i! d
9 v5 J$ Q- v) q3 G2 y
# 特征选择& l( Z# ~& X% r) N
selector = SelectKBest(score_func=f_regression, k=5)
- x1 a: g( j\" k/ L+ n' e7 I
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
6 \& i* p7 s$ n1 l5 F\" B$ V6 d
X_test_selected = selector.transform(X_test_scaled): F4 y1 h6 M+ J+ K6 Y# u
, |) c8 G: C\" q- R2 _4 ?
# 使用选择的特征重新训练模型
3 `( K0 Q5 _; B/ ?
model.fit(X_train_selected, y_train)
$ D6 h8 y* B1 {9 S4 Q2 }
y_pred_selected = model.predict(X_test_selected)
: P9 W0 ?1 g% z+ |: v) L) ?4 V
' m9 j: D0 w+ n2 y% P0 k6 u8 P- ~) b
# 评估9 X$ ? k+ K8 A\" G2 D6 k) y
mse_selected = mean_squared_error(y_test, y_pred_selected)
* m S' Q$ h$ ^/ _7 P8 i$ E
print(f"Mean Squared Error with selected features: {mse_selected}")