查看: 2761|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1189 主题	4 听众	2934 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
! S Z% e7 d, F2 p0 w0 s8 ]/ W: V
6 X! `/ g2 S$ C9 U. j; l% L7 d
from sklearn.model_selection import train_test_split
9 z7 {) i* W' A/ F- O. ^; S
1 F t+ D& }4 `; I _! U6 r
from sklearn.preprocessing import StandardScaler
7 R8 x\\" o% e; l! i) H
i, x0 Y& Y3 x& t5 i
from sklearn.linear_model import LinearRegression
[5 X: r1 `* H! ~& a' m7 W5 K6 t8 B
, a1 J\\" w* n5 z4 e& Z; B7 _
from sklearn.metrics import mean_squared_error* F. H* K\\" W4 ^
% j. m' @0 s) L' b+ h
2 M$ T5 ]\\" ?4 {) m) t' c, Q
/ H7 x+ w- w8 |2 H& V2 @
# 加载数据集
5 H, L. J/ s' F/ {+ n0 U4 G
( e/ }! u) B\\" z. `6 F3 a/ T
housing = fetch_california_housing()
* i. J! Q! A/ y
6 @9 U% W6 C\\" Q7 [1 l' ^
X, y = housing.data, housing.target) S& f& a! E- W1 J3 V\\" t6 J; J
: o* X* x4 |% E
, U' E- P, V }& _5 G( N
4 L2 \\\" M$ u, W0 x6 h5 G
# 划分训练集和测试集! G' s1 c. p5 U\\" d' L/ L; f% o
# s k4 B# U2 E% r/ h( M0 @3 I8 {# K
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)& J0 ^. S\\" m7 V e3 a
1 X9 O. @1 R* e' w h5 d- |
! i1 J( z- l8 C
5 T; n0 X) o( @+ J9 Y
# 数据预处理：标准化
3 O( q/ r9 l `3 @ I7 z6 d. H/ I
; h\\" f+ Z; E# s
scaler = StandardScaler()
, G# \ t& `# {\\" U- n' c) y! D8 h
& x: F e2 [$ v7 l. a! @
X_train_scaled = scaler.fit_transform(X_train)
! h! q: p) A\\" ^5 d; S
/ Z! d2 R, d+ a$ L6 D9 q, J
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
! S  Z% e7 d, F2 p0 w0 s8 ]/ W: V
 
6 X! `/ g2 S$ C9 U. j; l% L7 d
from sklearn.model_selection import train_test_split 
9 z7 {) i* W' A/ F- O. ^; S
 
1 F  t+ D& }4 `; I  _! U6 r
from sklearn.preprocessing import StandardScaler 
7 R8 x\\" o% e; l! i) H
  i, x0 Y& Y3 x& t5 i

from sklearn.linear_model import LinearRegression 
  [5 X: r1 `* H! ~& a' m7 W5 K6 t8 B
, a1 J\\" w* n5 z4 e& Z; B7 _

from sklearn.metrics import mean_squared_error* F. H* K\\" W4 ^

% j. m' @0 s) L' b+ h
 2 M$ T5 ]\\" ?4 {) m) t' c, Q

/ H7 x+ w- w8 |2 H& V2 @
# 加载数据集 
5 H, L. J/ s' F/ {+ n0 U4 G
 
( e/ }! u) B\\" z. `6 F3 a/ T
housing = fetch_california_housing() 
* i. J! Q! A/ y
6 @9 U% W6 C\\" Q7 [1 l' ^

X, y = housing.data, housing.target) S& f& a! E- W1 J3 V\\" t6 J; J

: o* X* x4 |% E
 
, U' E- P, V  }& _5 G( N
4 L2 \\\" M$ u, W0 x6 h5 G

# 划分训练集和测试集! G' s1 c. p5 U\\" d' L/ L; f% o

# s  k4 B# U2 E% r/ h( M0 @3 I8 {# K
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)& J0 ^. S\\" m7 V  e3 a

1 X9 O. @1 R* e' w  h5 d- |

! i1 J( z- l8 C

5 T; n0 X) o( @+ J9 Y
# 数据预处理：标准化 
3 O( q/ r9 l  `3 @  I7 z6 d. H/ I
 
; h\\" f+ Z; E# s
scaler = StandardScaler() 
, G# \  t& `# {\\" U- n' c) y! D8 h
 
& x: F  e2 [$ v7 l. a! @
X_train_scaled = scaler.fit_transform(X_train) 
! h! q: p) A\\" ^5 d; S
/ Z! d2 R, d+ a$ L6 D9 q, J

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型4 ^ e+ i, {2 m. C2 D8 u
model = LinearRegression()+ ?: X, A7 R2 _1 f' R
: p8 [; u+ N7 w3 ^6 B
# 训练模型( Z) K' U/ @8 X0 E' W: y4 e
model.fit(X_train_scaled, y_train)2 x0 y, o/ H9 p3 x! R
+ @\" f2 w' B& ^' N3 a5 @$ E
# 预测测试集8 j. g' z6 P3 R, a\" B/ [/ d! o
y_pred = model.predict(X_test_scaled). L# D6 F& t# y8 k) u( F! \+ y4 z( H
z& X; t7 w: c! }. E, ]5 Q
# 评估模型
# Y- k9 z1 h+ ~0 _# a
mse = mean_squared_error(y_test, y_pred)
* i S$ X$ a' F7 z3 v$ {
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
0 [8 `4 [' Z* }4 Z) ~\" Q- |% z/ p
& g- ^\" f6 n4 b* Y0 j) M
# 特征选择# t% O* U$ U+ } f6 X
selector = SelectKBest(score_func=f_regression, k=5)
; \7 F0 E$ f5 n1 V
X_train_selected = selector.fit_transform(X_train_scaled, y_train)\" b8 m7 R4 I$ ]; o\" _1 N/ Z
X_test_selected = selector.transform(X_test_scaled)1 {8 f8 q. g3 t0 ^# K. r4 @) t
\" i8 G5 G K# G8 t
# 使用选择的特征重新训练模型
) l: G, H) x# l+ z% F5 S5 I
model.fit(X_train_selected, y_train)' v( y. R1 g0 b; P& j% b- [
y_pred_selected = model.predict(X_test_selected)
. J, _3 F; Q# W D: v
& _' Q) I4 T7 L+ b6 z
# 评估
( c7 [: i' B7 _# _
mse_selected = mean_squared_error(y_test, y_pred_selected)
9 [5 K1 `& Z2 n% m' f3 |
print(f"Mean Squared Error with selected features: {mse_selected}")