查看: 2817|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1189 主题	4 听众	2934 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
& B% d/ u# j3 {( h4 t\\" v0 ^. P
4 b2 f+ G/ _' L1 u\\" [, \0 ^: q' D
from sklearn.model_selection import train_test_split; H/ d. `& J# D7 u. H1 P
9 ?/ }) n) l1 o+ Y& r% Z
from sklearn.preprocessing import StandardScaler& @- f5 r) U! b1 H4 A
2 f+ T2 d Z3 Q( b( c
from sklearn.linear_model import LinearRegression! r' S' k/ u6 P) ^: H
' G X p\\" D1 g1 c' W& a7 R$ c
from sklearn.metrics import mean_squared_error( J3 ^* A6 P* L& Q
0 Y1 b, O; V$ j; ^! l2 n# _6 I% Q
7 ~2 y' J2 u: }4 [1 v
0 q1 t$ i, t: _4 h- E; j
# 加载数据集
5 J! _1 I; @$ x* j
/ u) c3 O3 G5 P7 W$ Y8 Y
housing = fetch_california_housing()3 E6 j# ~\\" k& x+ }5 M
2 O7 a/ a. r$ Q
X, y = housing.data, housing.target
/ D4 z/ [1 j\\" u* x7 ?8 @( N
/ e# a9 F: M+ \, g- h4 Q, R2 U
0 n) M' `/ Y: }! b. b# r
/ R; K c7 c. P, h9 j! Y; G* K- ?
# 划分训练集和测试集
- L5 h5 n: o* x. f
; e( t4 W/ K2 k& P
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)7 P6 q/ e/ {. B' w
4 S( \! B. f0 T, w6 l
+ o7 i+ e( L\\" ]
. g i: j7 p2 a! l+ H/ t& E
# 数据预处理：标准化3 b$ ^0 h# w2 i& B+ `
6 P+ _\\" x, |7 w2 ?+ F* v
scaler = StandardScaler()6 ]+ C- G\\" w4 N0 I# m
( N! } \. R9 q% O( [( }# o
X_train_scaled = scaler.fit_transform(X_train)9 ]5 Z& _2 l. }\\" y
6 L! S6 \' \; k- s* D5 I
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
& B% d/ u# j3 {( h4 t\\" v0 ^. P
 
4 b2 f+ G/ _' L1 u\\" [, \0 ^: q' D
from sklearn.model_selection import train_test_split; H/ d. `& J# D7 u. H1 P

9 ?/ }) n) l1 o+ Y& r% Z

from sklearn.preprocessing import StandardScaler& @- f5 r) U! b1 H4 A

2 f+ T2 d  Z3 Q( b( c
from sklearn.linear_model import LinearRegression! r' S' k/ u6 P) ^: H

' G  X  p\\" D1 g1 c' W& a7 R$ c

from sklearn.metrics import mean_squared_error( J3 ^* A6 P* L& Q

0 Y1 b, O; V$ j; ^! l2 n# _6 I% Q
 
7 ~2 y' J2 u: }4 [1 v
0 q1 t$ i, t: _4 h- E; j

# 加载数据集 
5 J! _1 I; @$ x* j
/ u) c3 O3 G5 P7 W$ Y8 Y

housing = fetch_california_housing()3 E6 j# ~\\" k& x+ }5 M

2 O7 a/ a. r$ Q

X, y = housing.data, housing.target 
/ D4 z/ [1 j\\" u* x7 ?8 @( N
/ e# a9 F: M+ \, g- h4 Q, R2 U

0 n) M' `/ Y: }! b. b# r
 
/ R; K  c7 c. P, h9 j! Y; G* K- ?
# 划分训练集和测试集 
- L5 h5 n: o* x. f
 
; e( t4 W/ K2 k& P
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)7 P6 q/ e/ {. B' w

4 S( \! B. f0 T, w6 l
 + o7 i+ e( L\\" ]

. g  i: j7 p2 a! l+ H/ t& E

# 数据预处理：标准化3 b$ ^0 h# w2 i& B+ `

6 P+ _\\" x, |7 w2 ?+ F* v
scaler = StandardScaler()6 ]+ C- G\\" w4 N0 I# m

( N! }  \. R9 q% O( [( }# o

X_train_scaled = scaler.fit_transform(X_train)9 ]5 Z& _2 l. }\\" y

6 L! S6 \' \; k- s* D5 I

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型0 n1 Z. t2 c; V' y# @
model = LinearRegression(), `) ]4 V9 t\" m4 D
, V& p1 s; x) I( S6 w' \
# 训练模型
' d: O0 H/ D4 t3 @$ e3 l
model.fit(X_train_scaled, y_train)8 X# o2 y9 ]9 T$ O5 u W
/ [1 y8 @4 p& i
# 预测测试集+ t3 y% S; j3 u2 Q9 v& k\" N
y_pred = model.predict(X_test_scaled)\" o+ {8 |) C5 `, v9 k! B# f% q- |
) O3 B) B8 b% \' z, Z) j
# 评估模型( K k3 T O0 _4 [% P
mse = mean_squared_error(y_test, y_pred)# a5 F5 N9 j6 L& J4 f: F9 V
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression2 U! s9 P6 E. @3 w! n% N
6 N1 k, L& q c$ I- v# F
# 特征选择0 L! m' o8 a8 u! {; Q: Z! c
selector = SelectKBest(score_func=f_regression, k=5)6 j2 n& G( ~7 Y1 c0 [' z
X_train_selected = selector.fit_transform(X_train_scaled, y_train); V. ?, ?/ h, `
X_test_selected = selector.transform(X_test_scaled)
7 I7 A8 T$ D0 s2 M0 `3 R\" A
: P7 w; ^+ T, `5 r
# 使用选择的特征重新训练模型; h+ g/ z0 @5 Z5 Q
model.fit(X_train_selected, y_train)4 X6 M/ ?' [) |8 p8 z
y_pred_selected = model.predict(X_test_selected)
4 A' e, v8 `8 N! r7 u4 t
. L0 I* ?- z( N% F# m: m& k\" R3 p
# 评估
9 E5 o\" r Z7 v\" Q: g2 e
mse_selected = mean_squared_error(y_test, y_pred_selected)
, B# V0 `$ Y6 W5 J1 f Y7 p0 t! g9 \
print(f"Mean Squared Error with selected features: {mse_selected}")