查看: 2730|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1186 主题	4 听众	2925 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing( f* [6 H/ D/ }5 A7 {1 j
* K8 v# T1 G# H. ], u! V* e! N
from sklearn.model_selection import train_test_split& ?# S7 ]3 \2 q$ a
! E& Z: k: n' \) r% N3 l0 e
from sklearn.preprocessing import StandardScaler3 o+ d P$ G* @8 ?1 t2 [' R9 j
4 n' C0 j [% Z0 U- I% b, b
from sklearn.linear_model import LinearRegression1 e6 T5 K% U* r. }9 o
3 g ^; f: l! ^# Y- ?2 o
from sklearn.metrics import mean_squared_error
9 f6 W+ U+ O' G4 k7 s& p
: p# V! s/ I. H8 T4 f5 T
' O2 r! g- e) t. |0 j! j
& ^: L/ c Y2 V8 {9 V. M9 m& q
# 加载数据集
) L6 G/ z3 r8 X6 [\\" h$ s& p
3 b; Q; w% j7 r! k! Y
housing = fetch_california_housing()
Z& _\\" f( c2 S: ]: f& S: @\\" ]
! r3 u( r* H) w9 e
X, y = housing.data, housing.target
9 c0 `0 j* J- F. K ?1 z
+ R\\" d4 ]$ V0 O0 g; s7 W
$ J0 w0 ^; D7 N
' S$ i7 i, v2 `4 z
# 划分训练集和测试集
0 Y' A! e5 L6 l+ |# s! z
' ?& Q R9 b; M1 E
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42): w8 ^7 o& O3 E5 P- _8 r
# P2 _3 q- d6 ]# K4 u9 c5 E5 i
# ]# i0 V8 Y# C$ h% |$ p3 M
' k2 [5 G/ e, e- S
# 数据预处理：标准化
$ z( v q6 i% b
6 i- l# G, W; m9 L) z& T
scaler = StandardScaler()
# O\\" ^5 `3 O8 G9 j
6 b: k5 `3 [% I8 x/ A
X_train_scaled = scaler.fit_transform(X_train)% ?/ [# a, b+ s
]. z5 C( j9 T! Q8 }4 k& y
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing( f* [6 H/ D/ }5 A7 {1 j

* K8 v# T1 G# H. ], u! V* e! N

from sklearn.model_selection import train_test_split& ?# S7 ]3 \2 q$ a

! E& Z: k: n' \) r% N3 l0 e
from sklearn.preprocessing import StandardScaler3 o+ d  P$ G* @8 ?1 t2 [' R9 j

4 n' C0 j  [% Z0 U- I% b, b

from sklearn.linear_model import LinearRegression1 e6 T5 K% U* r. }9 o

3 g  ^; f: l! ^# Y- ?2 o
from sklearn.metrics import mean_squared_error 
9 f6 W+ U+ O' G4 k7 s& p
: p# V! s/ I. H8 T4 f5 T

' O2 r! g- e) t. |0 j! j

& ^: L/ c  Y2 V8 {9 V. M9 m& q

# 加载数据集 
) L6 G/ z3 r8 X6 [\\" h$ s& p
 
3 b; Q; w% j7 r! k! Y
housing = fetch_california_housing() 
  Z& _\\" f( c2 S: ]: f& S: @\\" ]
 
! r3 u( r* H) w9 e
X, y = housing.data, housing.target 
9 c0 `0 j* J- F. K  ?1 z
+ R\\" d4 ]$ V0 O0 g; s7 W

$ J0 w0 ^; D7 N

' S$ i7 i, v2 `4 z

# 划分训练集和测试集 
0 Y' A! e5 L6 l+ |# s! z
 
' ?& Q  R9 b; M1 E
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42): w8 ^7 o& O3 E5 P- _8 r

# P2 _3 q- d6 ]# K4 u9 c5 E5 i

# ]# i0 V8 Y# C$ h% |$ p3 M

' k2 [5 G/ e, e- S
# 数据预处理：标准化 
$ z( v  q6 i% b
 
6 i- l# G, W; m9 L) z& T
scaler = StandardScaler() 
# O\\" ^5 `3 O8 G9 j
6 b: k5 `3 [% I8 x/ A

X_train_scaled = scaler.fit_transform(X_train)% ?/ [# a, b+ s

]. z5 C( j9 T! Q8 }4 k& y
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
; q) [3 l! q\" l\" k
model = LinearRegression()) Y0 P8 ~/ f8 r |\" s
$ C3 f/ D! A: \$ f2 Z% @
# 训练模型2 w4 O; E v c; w
model.fit(X_train_scaled, y_train), y5 k0 o2 z3 Q7 g' G: i7 \
( t$ i+ ]0 A% e6 D a. k
# 预测测试集' w7 p& U' b# z; m$ a
y_pred = model.predict(X_test_scaled)6 P0 {% _4 _% u2 Q9 ` E5 Q
0 T R$ y$ P3 L: z7 f1 c* y
# 评估模型/ Z4 Y, o' [) F# d3 I
mse = mean_squared_error(y_test, y_pred)
0 H9 g+ l\" E4 {: ^$ W: j\" l5 p3 _
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression% a$ Z; r# X: ?* i6 K6 S2 j
: `+ r4 X% [, l
# 特征选择! g e7 O+ T7 \ Y! |9 [2 N7 ^
selector = SelectKBest(score_func=f_regression, k=5): K/ h0 O. q: p\" A9 U
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
3 j' \) Y# T D
X_test_selected = selector.transform(X_test_scaled): g& p+ h g; r$ G9 D& o
+ k9 K [& w- W& g7 @
# 使用选择的特征重新训练模型% M( k. E6 @7 \
model.fit(X_train_selected, y_train)0 @' J\" B5 C G. m
y_pred_selected = model.predict(X_test_selected)* a0 I) `% y1 Q4 v: ^
8 s+ B$ X3 s z
# 评估
% _8 T; ^6 _) _; d( T3 g# U( Y8 Q
mse_selected = mean_squared_error(y_test, y_pred_selected)6 l3 z# ~, @% o3 H+ D+ Q# [
print(f"Mean Squared Error with selected features: {mse_selected}")