查看: 2842|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1192 主题	4 听众	2946 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
\\" E: M9 X7 T) B/ _& t+ Y9 n( }
\\" P3 |& E6 @( e% x
from sklearn.model_selection import train_test_split( O1 Z6 K) L/ o6 s- {' H$ j/ f
( G1 [: t( b$ _2 o9 c5 Y! D
from sklearn.preprocessing import StandardScaler
5 f+ J5 j% X5 Z& |+ a. ]7 [
0 B' l* G5 n9 [) r0 g! o
from sklearn.linear_model import LinearRegression3 s/ C e% ~, k$ u! w9 l
' m8 _6 H) x: `+ w# ?/ _\\" o( g
from sklearn.metrics import mean_squared_error
/ @9 R8 V) B% G C
, b: B L$ J! j: g
- l( p J# F0 G
9 ]+ G8 D/ [& ?
# 加载数据集/ }6 k3 h\\" r) g! P+ |
R x6 a, [& N Y9 ?6 f# l. N* j
housing = fetch_california_housing()# T+ I0 V! K5 w: Y* d
) u' y9 Z' m1 P% B1 d
X, y = housing.data, housing.target
' N! g7 e2 Z6 P8 L7 W; g7 ^
, o2 i( ?/ [& [6 y
# J+ U, ~ T0 Q+ r
% Y1 w2 ^2 \# m: d
# 划分训练集和测试集
1 r\\" r' P- o5 W6 f, q# Q A
. E4 Z6 ^- V( W& f7 Y
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
3 c5 U) m; S4 D' _; Q
/ m3 L\\" Y% U4 D\\" N, P/ u' F
( ], Y; I! i\\" X/ g+ o l- ^: P/ |
; a4 b7 w, z0 I0 f& o
# 数据预处理：标准化
6 `# f7 U5 b. Q k; T
2 Q\\" k ~8 s& C7 p$ `
scaler = StandardScaler()
. i6 U- N- {! _2 E
3 y/ i7 l1 @: e3 S
X_train_scaled = scaler.fit_transform(X_train)
& J4 V1 L$ Z/ S8 L# A! M# T% ?7 n
% j; h\\" c7 |8 E4 j+ `: L; ?
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
\\" E: M9 X7 T) B/ _& t+ Y9 n( }
 
\\" P3 |& E6 @( e% x
from sklearn.model_selection import train_test_split( O1 Z6 K) L/ o6 s- {' H$ j/ f

( G1 [: t( b$ _2 o9 c5 Y! D

from sklearn.preprocessing import StandardScaler 
5 f+ J5 j% X5 Z& |+ a. ]7 [
0 B' l* G5 n9 [) r0 g! o

from sklearn.linear_model import LinearRegression3 s/ C  e% ~, k$ u! w9 l

' m8 _6 H) x: `+ w# ?/ _\\" o( g
from sklearn.metrics import mean_squared_error 
/ @9 R8 V) B% G  C
, b: B  L$ J! j: g

- l( p  J# F0 G

9 ]+ G8 D/ [& ?
# 加载数据集/ }6 k3 h\\" r) g! P+ |

R  x6 a, [& N  Y9 ?6 f# l. N* j

housing = fetch_california_housing()# T+ I0 V! K5 w: Y* d

) u' y9 Z' m1 P% B1 d

X, y = housing.data, housing.target 
' N! g7 e2 Z6 P8 L7 W; g7 ^
, o2 i( ?/ [& [6 y

# J+ U, ~  T0 Q+ r

% Y1 w2 ^2 \# m: d
# 划分训练集和测试集 
1 r\\" r' P- o5 W6 f, q# Q  A
. E4 Z6 ^- V( W& f7 Y

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
3 c5 U) m; S4 D' _; Q
/ m3 L\\" Y% U4 D\\" N, P/ u' F

( ], Y; I! i\\" X/ g+ o  l- ^: P/ |

; a4 b7 w, z0 I0 f& o

# 数据预处理：标准化 
6 `# f7 U5 b. Q  k; T
2 Q\\" k  ~8 s& C7 p$ `

scaler = StandardScaler() 
. i6 U- N- {! _2 E
 
3 y/ i7 l1 @: e3 S
X_train_scaled = scaler.fit_transform(X_train) 
& J4 V1 L$ Z/ S8 L# A! M# T% ?7 n
% j; h\\" c7 |8 E4 j+ `: L; ?

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
# W( b! L2 m; v\" ` C6 @
model = LinearRegression()
/ \; P8 a& r2 ^1 |; P
: g7 u* q$ C( s5 Y- _, O4 }
# 训练模型( h7 _$ q7 l ^$ m7 j
model.fit(X_train_scaled, y_train)
. i. u# ~; N8 {
/ ~3 R: E: h0 v9 ^
# 预测测试集
A\" Z3 f! S7 c
y_pred = model.predict(X_test_scaled)
7 r# v3 i6 Q3 m% |
% ^9 `3 S% i: L' t+ q
# 评估模型
' R3 M3 i' Q/ g' O( p\" K3 X
mse = mean_squared_error(y_test, y_pred)
# M\" `$ H& T* t1 Z! j8 M% ]9 H$ o
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression7 ` F' R2 G; I E- v5 D
1 ]\" f5 [7 S\" l# c8 Z: {- C) d! d
# 特征选择* m0 d- h/ f( [' u$ M8 l4 a3 i3 M* H; D
selector = SelectKBest(score_func=f_regression, k=5)
$ U\" O* {( {3 u; u; d( E
X_train_selected = selector.fit_transform(X_train_scaled, y_train): c7 `& P `7 c- r; X\" I
X_test_selected = selector.transform(X_test_scaled)\" K5 m6 h) d6 m% o1 K2 g
% b4 g, e9 E; M' c8 w
# 使用选择的特征重新训练模型
* f! Y% e8 n& ^ [
model.fit(X_train_selected, y_train)
' D x, M. {1 R* D; H\" K7 }\" s
y_pred_selected = model.predict(X_test_selected)
7 g$ Q/ F, Z+ E# g8 ^4 X t
- S2 F* }! p2 E/ \/ n8 h% ~
# 评估; p7 [ g0 F; ?
mse_selected = mean_squared_error(y_test, y_pred_selected)7 v2 d5 f5 N9 s
print(f"Mean Squared Error with selected features: {mse_selected}")