查看: 2865|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1198 主题	4 听众	2976 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing/ Z4 p9 K' X# U
( q* ?/ i: i0 C7 ]9 K2 W
from sklearn.model_selection import train_test_split
' A: |7 A% i/ j7 l3 t6 m) G
from sklearn.preprocessing import StandardScaler
E+ h& [) [9 f) V1 M1 k$ @0 h$ C% ^
$ k% V1 F3 {! e& O
from sklearn.linear_model import LinearRegression
' g; n# d, m; t# K; @# n5 j [
\\" E1 `( o% }2 [# P3 r3 T o/ c) E
from sklearn.metrics import mean_squared_error
6 y2 V; h2 T8 `1 @! s
+ \, K' I# j; T
- h2 T9 i8 u) _; X, j
+ ]( f4 l \& n4 o
# 加载数据集
1 h0 d7 `2 p( ^/ L\\" O& S1 X
& L/ `+ t7 l h I$ P& {3 z# p( Y
housing = fetch_california_housing()# k* Z8 H( i1 v3 U& S
. Z, E+ U; I: Q i3 P
X, y = housing.data, housing.target
8 V- j1 |4 L* z% T
; `8 C4 G/ g+ ?9 Y% f
+ O4 B\\" N+ {* M/ e; E6 a
2 ~& R( J; V7 }7 D3 b2 H2 H v
# 划分训练集和测试集( @4 M\\" r d( z\\" J+ q
4 D7 z2 W, j3 d4 v
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
2 ^; f* E! |9 c\\" [) l1 ^
4 N: L& {; t8 P! r. t8 ~& \
* C& c# ~7 g' x! G' U7 p1 C
6 n7 a3 s- I; l) {
# 数据预处理：标准化. V) b0 B* f- N# U/ G
- `- L; i/ ^' ~\\" n y
scaler = StandardScaler()
\\" ~ P; v T& Q! i* D+ X
( Z. h- C, J! r; g& w0 [
X_train_scaled = scaler.fit_transform(X_train)
7 s. c2 C! z) g5 Y. g+ O
# Z$ c\\" }0 f9 {
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing/ Z4 p9 K' X# U

( q* ?/ i: i0 C7 ]9 K2 W

from sklearn.model_selection import train_test_split 
' A: |7 A% i/ j7 l3 t6 m) G
 
) Q; z\\" Z$ b) n( d\\" Q2 T1 ?& k1 F: \
from sklearn.preprocessing import StandardScaler 
  E+ h& [) [9 f) V1 M1 k$ @0 h$ C% ^
$ k% V1 F3 {! e& O

from sklearn.linear_model import LinearRegression 
' g; n# d, m; t# K; @# n5 j  [
 
\\" E1 `( o% }2 [# P3 r3 T  o/ c) E
from sklearn.metrics import mean_squared_error 
6 y2 V; h2 T8 `1 @! s
 
+ \, K' I# j; T
 
- h2 T9 i8 u) _; X, j
 
+ ]( f4 l  \& n4 o
# 加载数据集 
1 h0 d7 `2 p( ^/ L\\" O& S1 X
& L/ `+ t7 l  h  I$ P& {3 z# p( Y

housing = fetch_california_housing()# k* Z8 H( i1 v3 U& S

. Z, E+ U; I: Q  i3 P

X, y = housing.data, housing.target 
8 V- j1 |4 L* z% T
 
; `8 C4 G/ g+ ?9 Y% f
 
+ O4 B\\" N+ {* M/ e; E6 a
 
2 ~& R( J; V7 }7 D3 b2 H2 H  v
# 划分训练集和测试集( @4 M\\" r  d( z\\" J+ q

4 D7 z2 W, j3 d4 v

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
2 ^; f* E! |9 c\\" [) l1 ^
 
4 N: L& {; t8 P! r. t8 ~& \
 * C& c# ~7 g' x! G' U7 p1 C

6 n7 a3 s- I; l) {

# 数据预处理：标准化. V) b0 B* f- N# U/ G

- `- L; i/ ^' ~\\" n  y
scaler = StandardScaler() 
\\" ~  P; v  T& Q! i* D+ X
 
( Z. h- C, J! r; g& w0 [
X_train_scaled = scaler.fit_transform(X_train) 
7 s. c2 C! z) g5 Y. g+ O
# Z$ c\\" }0 f9 {

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
\" }' S9 M) O5 Z6 @* t
model = LinearRegression()
# V. @9 K6 N( Q# ~; I
( E2 s. E: s* G\" c
# 训练模型3 _, D, {; c\" H1 w7 v' [' j
model.fit(X_train_scaled, y_train)$ V7 k\" C6 M2 u7 l; D% b$ B
& E1 P& o( L4 Z, r
# 预测测试集
: {# B. }# M. ~) G: R7 [0 W0 {! W
y_pred = model.predict(X_test_scaled)5 I; N/ \% d0 ^
: w; ]; y0 s8 f) w8 e' [
# 评估模型! l* g' a# A. T
mse = mean_squared_error(y_test, y_pred): a4 k! z q3 }% N
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression+ n) K( H* ~& Y, a t/ M. h\" }
8 q+ q$ I- v+ e/ c v$ u
# 特征选择 c: h/ C; {& d$ w7 O0 G
selector = SelectKBest(score_func=f_regression, k=5)
* G. V) e' J N2 Q# e5 w6 m2 y' l
X_train_selected = selector.fit_transform(X_train_scaled, y_train); F3 w9 A1 L- b' b9 ?
X_test_selected = selector.transform(X_test_scaled)4 Y3 b; m\" U! j2 [5 V$ I1 N
* C& b6 v; q% o1 z
# 使用选择的特征重新训练模型
% R. V' x. f k
model.fit(X_train_selected, y_train)* p% x1 o7 D0 I6 M
y_pred_selected = model.predict(X_test_selected): k& e6 E! N; O0 Z
7 ?: ^4 O$ v! X\" ^& p4 T O
# 评估/ G V5 y/ `! K2 I
mse_selected = mean_squared_error(y_test, y_pred_selected)
, p/ J! s' D: A/ z& a
print(f"Mean Squared Error with selected features: {mse_selected}")