查看: 2451|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1183 主题	4 听众	2908 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |正序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
. T/ _( q' |7 T* h1 N( Y/ S
- x/ ] w T9 Q\\" n' P2 G3 |
from sklearn.model_selection import train_test_split0 l. W6 Z J( ?4 T) R) {
& | q7 }8 ?5 q3 J# i4 B
from sklearn.preprocessing import StandardScaler9 t- N3 q: w+ ?/ o6 M5 ~
7 p; T! |% Q5 V2 g2 R: n
from sklearn.linear_model import LinearRegression6 ^, l& D6 U0 q; a. C
! g2 ]6 X: L5 @\\" d
from sklearn.metrics import mean_squared_error
& D9 N\\" d7 T5 }9 b. `! w# |0 s
; O5 x$ H% R' H! e! I K( h
$ r7 S\\" a& w/ t, E) c
& v2 ?9 Z: |) Y. D3 s
# 加载数据集( b6 `$ A { b, C
% Z; c\\" p% }5 A# O, }2 q, G; \
housing = fetch_california_housing()
- w. M: G; J9 O
! _; R9 C( e0 {, N) U
X, y = housing.data, housing.target1 D. b\\" L$ F) [) Y2 D x\\" ~ Z
# x: e' \; L0 o\\" z' A( M
& |' I8 D2 ^5 P8 X3 C\\" t
2 A% b% h+ \( K
# 划分训练集和测试集0 k- S z\\" P6 j# e+ I
. }4 N- L4 l4 h4 Q# [( D; J- ]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
2 q+ J; J5 a& H5 \+ H, }! b5 E7 o: ]
5 G9 `- y. @9 O1 U- G
\\" C, [( R3 Z0 D* v r
# i' M' `9 N1 S2 u, k, A' }
# 数据预处理：标准化
* t( C* M: l4 ]! ^5 z9 S4 ^6 Z
2 L, h5 o$ a- N1 M, ?) O+ }
scaler = StandardScaler()
! O5 D9 Y1 m; H$ V
\\" ?( W5 S- G) a9 h\\" L7 }
X_train_scaled = scaler.fit_transform(X_train)
% i\\" t, {# G. }' Y4 Z! J7 N
# y- H* a7 S2 }) z
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
. T/ _( q' |7 T* h1 N( Y/ S
- x/ ]  w  T9 Q\\" n' P2 G3 |

from sklearn.model_selection import train_test_split0 l. W6 Z  J( ?4 T) R) {

& |  q7 }8 ?5 q3 J# i4 B

from sklearn.preprocessing import StandardScaler9 t- N3 q: w+ ?/ o6 M5 ~

7 p; T! |% Q5 V2 g2 R: n
from sklearn.linear_model import LinearRegression6 ^, l& D6 U0 q; a. C

! g2 ]6 X: L5 @\\" d

from sklearn.metrics import mean_squared_error 
& D9 N\\" d7 T5 }9 b. `! w# |0 s
; O5 x$ H% R' H! e! I  K( h

$ r7 S\\" a& w/ t, E) c
 
& v2 ?9 Z: |) Y. D3 s
# 加载数据集( b6 `$ A  {  b, C

% Z; c\\" p% }5 A# O, }2 q, G; \

housing = fetch_california_housing() 
- w. M: G; J9 O
! _; R9 C( e0 {, N) U

X, y = housing.data, housing.target1 D. b\\" L$ F) [) Y2 D  x\\" ~  Z

# x: e' \; L0 o\\" z' A( M
 
& |' I8 D2 ^5 P8 X3 C\\" t
2 A% b% h+ \( K

# 划分训练集和测试集0 k- S  z\\" P6 j# e+ I

. }4 N- L4 l4 h4 Q# [( D; J- ]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
2 q+ J; J5 a& H5 \+ H, }! b5 E7 o: ]
5 G9 `- y. @9 O1 U- G

\\" C, [( R3 Z0 D* v  r
 
# i' M' `9 N1 S2 u, k, A' }
# 数据预处理：标准化 
* t( C* M: l4 ]! ^5 z9 S4 ^6 Z
 
2 L, h5 o$ a- N1 M, ?) O+ }
scaler = StandardScaler() 
! O5 D9 Y1 m; H$ V
 
\\" ?( W5 S- G) a9 h\\" L7 }
X_train_scaled = scaler.fit_transform(X_train) 
% i\\" t, {# G. }' Y4 Z! J7 N
 
# y- H* a7 S2 }) z
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
8 P$ M/ G/ K! Z\" q2 A
model = LinearRegression()
% g' {# g# o. \% k) C4 a0 f
. z5 |9 J% W! e( q
# 训练模型
9 S- a/ {5 A) z L, |' Y
model.fit(X_train_scaled, y_train)
+ g3 @* w' _- ~* M1 w- |/ K7 N
* s! f) G& l6 N
# 预测测试集
9 V$ q& c# ^) ^0 }9 O) U
y_pred = model.predict(X_test_scaled)
4 Y& X( O0 J- `0 y7 u/ `0 P4 ?
# K9 o$ S7 {3 w% [\" z7 T
# 评估模型
7 h4 N2 Q+ {4 Z/ Q3 E/ k! d
mse = mean_squared_error(y_test, y_pred)2 R3 Q: J$ J5 B( M; Z2 p- w( r
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression0 C- a2 I3 c9 \ `' q% ~
0 D* V) v% a- ? e+ Z5 t. u
# 特征选择& z1 R- i8 Y, A: ?6 Q! w J
selector = SelectKBest(score_func=f_regression, k=5)( Q9 `) G; n2 } K& n5 q
X_train_selected = selector.fit_transform(X_train_scaled, y_train)* k3 q2 H& m' N/ v' j
X_test_selected = selector.transform(X_test_scaled)
# c( e. F7 g) L7 `
8 T) `- A+ h/ N5 P; @
# 使用选择的特征重新训练模型1 A( `2 _: ?) v7 Y+ x
model.fit(X_train_selected, y_train)+ s9 F# `6 t! k T
y_pred_selected = model.predict(X_test_selected)! d3 i# k# @$ o1 R9 g8 r& o
8 y2 m. f, n9 Z' K- ^
# 评估/ P0 |2 x/ r& Y4 O) R& l: p0 R- M
mse_selected = mean_squared_error(y_test, y_pred_selected)4 g& M4 j% e9 M2 f. z
print(f"Mean Squared Error with selected features: {mse_selected}")