查看: 1820|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1175 主题	4 听众	2823 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing* {$ s\\" f& \9 }4 B
* J+ K* E% m `( c$ w# ]/ C
from sklearn.model_selection import train_test_split! P2 ]; u3 k: k+ _! K0 V9 B
/ n* _6 N: V* L: Q! x* q
from sklearn.preprocessing import StandardScaler9 C! ~8 G' O# b( C/ t3 ]\\" E
\\" U0 a* U7 [- Z: m' Q$ [
from sklearn.linear_model import LinearRegression1 n' `$ i/ o3 `$ B
& B! j& V6 W, N* A# F# I p4 Z
from sklearn.metrics import mean_squared_error
) k7 N* R\\" I' }
% V4 l\\" O8 S% ]
' i\\" k4 M) c( h# _7 o
. Z5 A8 u7 k) u' n' Z+ J3 q) Y
# 加载数据集) q5 E5 r, F: F\\" ^7 v
1 F- m5 o5 r4 f: B8 A
housing = fetch_california_housing()
: P \\\" ~6 k: s! J' m. R
! A E# e1 v\\" t4 q3 m
X, y = housing.data, housing.target3 x+ @% Z) ]0 l7 u
/ c+ ^) v5 ?- e) u. H( Q
0 [: d: l; N3 S\\" S
5 ]) u8 A( j/ Z) n4 _' r$ A
# 划分训练集和测试集* `- L7 z; u\\" P& F3 S% ?
/ T' ]\\" b0 Z4 M$ T( q7 e
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42), I l7 @1 C6 K! k
* G% s! |0 K! [6 Q7 A; f
2 T3 ~: U& A3 P
. i' U! s! D% |6 f7 S- G* G' ^* v8 ?
# 数据预处理：标准化$ t2 h4 J/ M* ^' v5 M' S
' F2 M( q- Q, u, G; o
scaler = StandardScaler()! U! Z( Y$ ]% W- R; z Y% y |
8 t' K8 L$ i4 F: I) m
X_train_scaled = scaler.fit_transform(X_train)6 L z# y' c3 w
' S0 \+ [; O v* _( v$ J1 Q( Z0 R+ n
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing* {$ s\\" f& \9 }4 B

* J+ K* E% m  `( c$ w# ]/ C

from sklearn.model_selection import train_test_split! P2 ]; u3 k: k+ _! K0 V9 B

/ n* _6 N: V* L: Q! x* q

from sklearn.preprocessing import StandardScaler9 C! ~8 G' O# b( C/ t3 ]\\" E

\\" U0 a* U7 [- Z: m' Q$ [

from sklearn.linear_model import LinearRegression1 n' `$ i/ o3 `$ B

& B! j& V6 W, N* A# F# I  p4 Z
from sklearn.metrics import mean_squared_error 
) k7 N* R\\" I' }
% V4 l\\" O8 S% ]

' i\\" k4 M) c( h# _7 o

. Z5 A8 u7 k) u' n' Z+ J3 q) Y
# 加载数据集) q5 E5 r, F: F\\" ^7 v

1 F- m5 o5 r4 f: B8 A
housing = fetch_california_housing() 
: P  \\\" ~6 k: s! J' m. R
! A  E# e1 v\\" t4 q3 m

X, y = housing.data, housing.target3 x+ @% Z) ]0 l7 u

/ c+ ^) v5 ?- e) u. H( Q
 
0 [: d: l; N3 S\\" S
 
5 ]) u8 A( j/ Z) n4 _' r$ A
# 划分训练集和测试集* `- L7 z; u\\" P& F3 S% ?

/ T' ]\\" b0 Z4 M$ T( q7 e

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42), I  l7 @1 C6 K! k

* G% s! |0 K! [6 Q7 A; f
 
2 T3 ~: U& A3 P
. i' U! s! D% |6 f7 S- G* G' ^* v8 ?

# 数据预处理：标准化$ t2 h4 J/ M* ^' v5 M' S

' F2 M( q- Q, u, G; o

scaler = StandardScaler()! U! Z( Y$ ]% W- R; z  Y% y  |

8 t' K8 L$ i4 F: I) m

X_train_scaled = scaler.fit_transform(X_train)6 L  z# y' c3 w

' S0 \+ [; O  v* _( v$ J1 Q( Z0 R+ n

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
( m- d\" r; F! B
model = LinearRegression()\" C, B# n: Z5 x! U
- [0 d! G ~: T$ v\" @# L
# 训练模型& W+ N5 I q& |/ E: [1 D
model.fit(X_train_scaled, y_train); F6 ~\" ]; B& m2 s$ L
/ Z O4 C1 t+ { ?' D
# 预测测试集% H3 O) z+ v) A) x, r* S% p7 ~
y_pred = model.predict(X_test_scaled). p' |! s$ T/ A S8 I
) |5 q- A, [) {* u# Y\" ~# B
# 评估模型0 h, b\" o! J2 p$ V
mse = mean_squared_error(y_test, y_pred)2 X' }\" y5 z3 I
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression% B9 w* E6 N' [7 [4 v
/ D, M- t& I% g& p+ m
# 特征选择
' t' p- B% \: K7 p' y8 X
selector = SelectKBest(score_func=f_regression, k=5)- e: D& X) _4 p
X_train_selected = selector.fit_transform(X_train_scaled, y_train), @; Q, A$ `& Z! H2 w
X_test_selected = selector.transform(X_test_scaled)
( K. ^5 @\" k2 _- f1 S7 f' i
9 ~7 F3 a* y/ I6 P\" @( V$ @4 G! d
# 使用选择的特征重新训练模型# x5 a# {' [/ [' D$ u1 O\" E \
model.fit(X_train_selected, y_train)
. g2 @8 }- l; H1 X. `) ~) g5 e7 R( [
y_pred_selected = model.predict(X_test_selected)! u5 {! K% ^ T1 M' I' p
# D\" q! D* C) e5 u- F( m& y
# 评估 B( |! u\" T$ N6 J S' v4 G
mse_selected = mean_squared_error(y_test, y_pred_selected)
print(f"Mean Squared Error with selected features: {mse_selected}")