查看: 2862|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1198 主题	4 听众	2976 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing i( X+ e\\" i* g `8 ]) t9 D+ c+ O5 T\\" P
3 M* k- `: M* {! V3 W- A
from sklearn.model_selection import train_test_split8 ?* N+ V+ C) e5 Y3 v
$ X% [4 E8 @2 P: r+ R& J
from sklearn.preprocessing import StandardScaler
0 E) Q8 S* g/ Y9 t\\" |# J9 F5 \5 y
p( R\\" l6 x) N' M8 U
from sklearn.linear_model import LinearRegression
5 }9 I, |& x! G( u' A
5 j! O5 o. }9 `$ Z7 Z
from sklearn.metrics import mean_squared_error
8 b! ?7 X# O7 B/ }
+ X& D: t+ ]/ T2 ^) x! B2 _
& Z' `2 j$ q6 H4 [8 }7 r `$ `5 o
( ]6 k' J; R% Q
# 加载数据集( g& u; {! T\\" F8 h. H
+ j# V l, g! i9 f( |7 ~- G
housing = fetch_california_housing()7 b( k3 \# z8 y$ `\\" h
& ~( b0 f/ A% C7 `4 n& y! f
X, y = housing.data, housing.target
* h! }! ~. \0 n$ {# H. h
7 o2 [) C+ {3 ]2 s7 w; \
8 {& ?, N4 A3 D9 k O/ N
2 ~$ c2 q7 L, {+ R
# 划分训练集和测试集
/ E- f3 a! d) V2 v& ?& Y
9 w# F7 f9 h8 @+ t\\" L
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)6 j( l7 _\\" f7 l+ k- P1 V7 K
; T/ Z; o' ?5 f& S7 z
\\" I1 Y. Q A1 J! [; C N3 Q
4 E1 v0 e\\" o\\" C\\" \
# 数据预处理：标准化
y( I7 H8 m( i9 y; f4 c* R4 C
0 B$ D w2 h1 I7 D( E
scaler = StandardScaler()& X, A p* z2 V# L
' W# T: |7 V8 j2 L1 R) ~4 o. A2 |) K
X_train_scaled = scaler.fit_transform(X_train). Q/ m: }+ [- Q' [ j1 f
# q+ d+ S: u% J
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing  i( X+ e\\" i* g  `8 ]) t9 D+ c+ O5 T\\" P

3 M* k- `: M* {! V3 W- A
from sklearn.model_selection import train_test_split8 ?* N+ V+ C) e5 Y3 v

$ X% [4 E8 @2 P: r+ R& J

from sklearn.preprocessing import StandardScaler 
0 E) Q8 S* g/ Y9 t\\" |# J9 F5 \5 y
  p( R\\" l6 x) N' M8 U

from sklearn.linear_model import LinearRegression 
5 }9 I, |& x! G( u' A
5 j! O5 o. }9 `$ Z7 Z

from sklearn.metrics import mean_squared_error 
8 b! ?7 X# O7 B/ }
+ X& D: t+ ]/ T2 ^) x! B2 _

& Z' `2 j$ q6 H4 [8 }7 r  `$ `5 o

( ]6 k' J; R% Q
# 加载数据集( g& u; {! T\\" F8 h. H

+ j# V  l, g! i9 f( |7 ~- G

housing = fetch_california_housing()7 b( k3 \# z8 y$ `\\" h

& ~( b0 f/ A% C7 `4 n& y! f

X, y = housing.data, housing.target 
* h! }! ~. \0 n$ {# H. h
 
7 o2 [) C+ {3 ]2 s7 w; \
 8 {& ?, N4 A3 D9 k  O/ N

2 ~$ c2 q7 L, {+ R
# 划分训练集和测试集 
/ E- f3 a! d) V2 v& ?& Y
9 w# F7 f9 h8 @+ t\\" L

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)6 j( l7 _\\" f7 l+ k- P1 V7 K

; T/ Z; o' ?5 f& S7 z
 \\" I1 Y. Q  A1 J! [; C  N3 Q

4 E1 v0 e\\" o\\" C\\" \

# 数据预处理：标准化 
  y( I7 H8 m( i9 y; f4 c* R4 C
0 B$ D  w2 h1 I7 D( E

scaler = StandardScaler()& X, A  p* z2 V# L

' W# T: |7 V8 j2 L1 R) ~4 o. A2 |) K

X_train_scaled = scaler.fit_transform(X_train). Q/ m: }+ [- Q' [  j1 f

# q+ d+ S: u% J

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
3 c\" K8 O\" Z5 {% h( O( t* V
model = LinearRegression()
7 }2 v9 M\" S: \# `
- `7 n0 Z2 B: g$ l
# 训练模型) y! P/ q% o7 v2 o; v ^
model.fit(X_train_scaled, y_train)
- T$ D* C/ O6 s' |0 ~6 L
6 j( Z8 b i8 C5 B+ T\" x: P2 R5 S
# 预测测试集( K! v X- ^ @2 Q* g8 \
y_pred = model.predict(X_test_scaled)
( i, @- c9 P- T9 S+ h0 r
@( q7 U9 {5 g\" Q( x9 c
# 评估模型, w# V\" U& g; |) r
mse = mean_squared_error(y_test, y_pred)
' x% U& i3 a4 O' I- d' b
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
+ Z\" A' r4 L' S. Z
& S* f8 K( Q& \8 F4 B0 @' H
# 特征选择2 {8 a. Q9 u: J3 e1 o. G$ m l
selector = SelectKBest(score_func=f_regression, k=5)
3 J& u: X' R\" T' f7 M7 H
X_train_selected = selector.fit_transform(X_train_scaled, y_train); A+ r# a1 r4 ~. w
X_test_selected = selector.transform(X_test_scaled)
9 Q; ^* G2 E9 Q. f, L
7 q, g2 Y6 v9 V8 C3 O( y3 L' g
# 使用选择的特征重新训练模型
- V4 N- A. V. i4 W9 `9 g2 v
model.fit(X_train_selected, y_train)3 L. \# q3 o8 F7 j: w2 ^\" p9 }# C
y_pred_selected = model.predict(X_test_selected)
9 l! a. Y- Q: ~1 T: o! s: f6 E7 g
7 c8 _, n% o B7 z3 z; u1 z) h' P! K
# 评估
' s& E, k% R8 \( g3 E2 G\" j7 X
mse_selected = mean_squared_error(y_test, y_pred_selected)% U0 ?' I( O7 d4 s# H. v _
print(f"Mean Squared Error with selected features: {mse_selected}")