查看: 2462|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1183 主题	4 听众	2909 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing4 v' r' |% X* F; R! @# B! [- ~+ `
! f, Z6 q& C) c3 ~6 k+ h+ Z
from sklearn.model_selection import train_test_split
# M* N# S6 |! X: k% R z
4 s1 p\\" h# w. P' l6 A, v0 \- X
from sklearn.preprocessing import StandardScaler
3 J% ~2 @/ z3 j7 \7 {9 [: W
# f( s\\" {8 u: a' d$ k2 l
from sklearn.linear_model import LinearRegression9 x% y& B: f, z. R2 P
# N+ q, \! S& t8 P8 t8 X0 E3 G
from sklearn.metrics import mean_squared_error5 x( n J1 l4 c) s; F- ~
& e8 I/ E. G m5 P B0 k% P
1 C* R+ p0 J, _8 F
8 }& a+ f! j! j U0 P, }# X\\" i+ G
# 加载数据集7 L- B0 l. u. V* |9 P5 M
& i! a6 E* J5 b3 ?! E$ I
housing = fetch_california_housing()
/ S) }) c( {+ s6 ?
\\" o% g3 b y' E8 {( r
X, y = housing.data, housing.target
0 M. d/ _4 Y- G9 ^\\" y: }: k
4 Z( C# e; o$ R9 ^\\" x, m\\" l
' v2 F9 f$ I4 a+ u' ?
% f; | M! F7 l9 I
# 划分训练集和测试集
; }: n% O4 [( _& @9 q% J9 m
, S& @# `6 i8 q- |, m7 T
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# \; ]9 M$ A3 c6 I( c\\" [
3 n z3 T\\" `/ `/ J! f
8 \- g* b+ S0 `' s, c
' S6 S0 c& g' x3 P1 W
# 数据预处理：标准化4 U3 K! |6 J& ]; p8 l% P4 C
2 m: H! T# S3 {1 g
scaler = StandardScaler()
6 S+ a& ]7 _8 ~6 O
3 g% D. r& R! b' G
X_train_scaled = scaler.fit_transform(X_train) I/ ?2 p8 w# x
2 @! L5 U' |' r
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing4 v' r' |% X* F; R! @# B! [- ~+ `

! f, Z6 q& C) c3 ~6 k+ h+ Z

from sklearn.model_selection import train_test_split 
# M* N# S6 |! X: k% R  z
4 s1 p\\" h# w. P' l6 A, v0 \- X

from sklearn.preprocessing import StandardScaler 
3 J% ~2 @/ z3 j7 \7 {9 [: W
# f( s\\" {8 u: a' d$ k2 l

from sklearn.linear_model import LinearRegression9 x% y& B: f, z. R2 P

# N+ q, \! S& t8 P8 t8 X0 E3 G
from sklearn.metrics import mean_squared_error5 x( n  J1 l4 c) s; F- ~

& e8 I/ E. G  m5 P  B0 k% P
 1 C* R+ p0 J, _8 F

8 }& a+ f! j! j  U0 P, }# X\\" i+ G

# 加载数据集7 L- B0 l. u. V* |9 P5 M

& i! a6 E* J5 b3 ?! E$ I

housing = fetch_california_housing() 
/ S) }) c( {+ s6 ?
\\" o% g3 b  y' E8 {( r

X, y = housing.data, housing.target 
0 M. d/ _4 Y- G9 ^\\" y: }: k
4 Z( C# e; o$ R9 ^\\" x, m\\" l

' v2 F9 f$ I4 a+ u' ?
 
% f; |  M! F7 l9 I
# 划分训练集和测试集 
; }: n% O4 [( _& @9 q% J9 m
 
, S& @# `6 i8 q- |, m7 T
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
# \; ]9 M$ A3 c6 I( c\\" [
3 n  z3 T\\" `/ `/ J! f

8 \- g* b+ S0 `' s, c

' S6 S0 c& g' x3 P1 W
# 数据预处理：标准化4 U3 K! |6 J& ]; p8 l% P4 C

2 m: H! T# S3 {1 g
scaler = StandardScaler() 
6 S+ a& ]7 _8 ~6 O
 
3 g% D. r& R! b' G
X_train_scaled = scaler.fit_transform(X_train)  I/ ?2 p8 w# x

2 @! L5 U' |' r
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型2 a% H: E, g5 n+ S& u' T% Q( c: m/ n
model = LinearRegression()3 D3 z/ `. u! c% t8 [6 `% p
& o; {! Y% R9 u5 p* |
# 训练模型
- w/ j9 U0 v7 {& Y$ H) U
model.fit(X_train_scaled, y_train)
\" B( h8 t\" r* F2 r$ b
3 ]* d& G% ^4 E6 v; a/ k% w
# 预测测试集
% Q3 B' ~4 x; t2 G, _% e4 P
y_pred = model.predict(X_test_scaled)
: X Q% T% r. p3 B3 W4 f
: P ?7 t/ {! S8 s. y
# 评估模型9 f- }; N- T0 j x5 L
mse = mean_squared_error(y_test, y_pred)
. I0 e4 V( ^$ M, C9 e2 x
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
/ i7 G K5 y8 {+ {. p9 @- e
+ i. m- O. T& x4 i$ A
# 特征选择, l3 e\" o( z r1 O7 f! u
selector = SelectKBest(score_func=f_regression, k=5)
2 B9 k0 s8 R4 |4 R$ [
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
' y2 [8 y. A( ^& P
X_test_selected = selector.transform(X_test_scaled)
8 H a& M; B% R\" ^ O/ j1 b% u\" \
% f, n7 c8 ]/ B z
# 使用选择的特征重新训练模型
& a- h: H1 L1 Z2 _3 [5 M- U' ?. o
model.fit(X_train_selected, y_train)) R1 M7 j5 {/ @' h& @+ G
y_pred_selected = model.predict(X_test_selected)% q' n3 _3 J1 B: T+ E2 V9 D0 ?, n& `8 G. R
8 d1 J\" e\" f5 u7 U4 A6 q
# 评估\" f s4 t0 v% c* j: @2 q1 d
mse_selected = mean_squared_error(y_test, y_pred_selected)) E! j& r\" u\" g# u. U
print(f"Mean Squared Error with selected features: {mse_selected}")