查看: 2706|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1186 主题	4 听众	2922 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
6 [1 T% m3 s5 i c3 G5 j% z
4 j }7 r$ `$ F1 q; R\\" W/ U
from sklearn.model_selection import train_test_split& ^; t* k5 C8 N, z! l4 Z6 M
& @4 m3 {9 c+ V6 u6 \/ B: B\\" z
from sklearn.preprocessing import StandardScaler
8 O1 T; l7 j& H0 F/ x( L2 {, E
( Q8 ]1 o3 ]) n6 Z
from sklearn.linear_model import LinearRegression
! {% z$ \: E: V8 ~6 e7 Y
\\" P) n* O5 L$ S5 k3 w
from sklearn.metrics import mean_squared_error
8 r3 \\\" A6 R8 Z3 I, U
; V% h5 a) _3 R/ q1 }+ @
7 [2 @7 `9 K, h. N
G5 e1 x. o+ f& \) k, Z' I# o
# 加载数据集
/ B% y- x4 N* u7 Q
1 U E+ x3 H! u1 s/ m
housing = fetch_california_housing()
+ q\\" s6 \7 y) J% A/ t* c
/ g: }: l, z+ S5 t$ u4 q
X, y = housing.data, housing.target
8 P! J9 v# ^$ G- U, x3 Z5 B; F* B
* |' z1 Q% E6 |. `5 G+ B
6 i! d2 r8 t8 ^* ?
3 O! {$ \; }5 _; p/ Z# ?
# 划分训练集和测试集
6 N2 h4 Q1 T2 s& {5 p e) P
& X! S/ U9 N0 V5 U' K
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
1 D0 O: A7 e8 E( F- z0 j. u
+ |8 U0 @& Y( a2 N$ w+ v) C
\\" P1 W6 p8 v* D) }
\\" y+ D( |, T0 o\\" _
# 数据预处理：标准化% S# L* K2 | z
/ a\\" v. k8 M! K: _\\" T+ K\\" L7 N
scaler = StandardScaler()5 F2 ]* R8 l! c' j
9 m9 `# x* L4 _1 R0 k
X_train_scaled = scaler.fit_transform(X_train)
- h* B0 `9 E2 Q' |7 Z
, `9 b( \( L3 n
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
6 [1 T% m3 s5 i  c3 G5 j% z
4 j  }7 r$ `$ F1 q; R\\" W/ U

from sklearn.model_selection import train_test_split& ^; t* k5 C8 N, z! l4 Z6 M

& @4 m3 {9 c+ V6 u6 \/ B: B\\" z

from sklearn.preprocessing import StandardScaler 
8 O1 T; l7 j& H0 F/ x( L2 {, E
 
( Q8 ]1 o3 ]) n6 Z
from sklearn.linear_model import LinearRegression 
! {% z$ \: E: V8 ~6 e7 Y
\\" P) n* O5 L$ S5 k3 w

from sklearn.metrics import mean_squared_error 
8 r3 \\\" A6 R8 Z3 I, U
; V% h5 a) _3 R/ q1 }+ @

7 [2 @7 `9 K, h. N
  G5 e1 x. o+ f& \) k, Z' I# o

# 加载数据集 
/ B% y- x4 N* u7 Q
1 U  E+ x3 H! u1 s/ m

housing = fetch_california_housing() 
+ q\\" s6 \7 y) J% A/ t* c
/ g: }: l, z+ S5 t$ u4 q

X, y = housing.data, housing.target 
8 P! J9 v# ^$ G- U, x3 Z5 B; F* B
* |' z1 Q% E6 |. `5 G+ B

6 i! d2 r8 t8 ^* ?

3 O! {$ \; }5 _; p/ Z# ?

# 划分训练集和测试集 
6 N2 h4 Q1 T2 s& {5 p  e) P
& X! S/ U9 N0 V5 U' K

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
1 D0 O: A7 e8 E( F- z0 j. u
 
+ |8 U0 @& Y( a2 N$ w+ v) C
 
\\" P1 W6 p8 v* D) }
 
\\" y+ D( |, T0 o\\" _
# 数据预处理：标准化% S# L* K2 |  z

/ a\\" v. k8 M! K: _\\" T+ K\\" L7 N

scaler = StandardScaler()5 F2 ]* R8 l! c' j

9 m9 `# x* L4 _1 R0 k

X_train_scaled = scaler.fit_transform(X_train) 
- h* B0 `9 E2 Q' |7 Z
 
, `9 b( \( L3 n
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型- x5 }! Z0 m, _
model = LinearRegression()
\" I$ ?: o( [% X% S
6 G8 _$ q3 B4 N. r! q
# 训练模型3 x; p5 I% [) p& A\" J6 n\" _- u
model.fit(X_train_scaled, y_train)1 o- a* U2 E# l: M1 F8 g5 ?1 c
- l! I2 ]; o. W% j( }\" b
# 预测测试集
: j& y, g5 q/ H2 }7 D
y_pred = model.predict(X_test_scaled)- R8 M d) M5 B7 M8 R
* h2 M$ F6 t& R3 J7 R5 V
# 评估模型
' Y. n$ h2 b\" O7 J& C
mse = mean_squared_error(y_test, y_pred)
\" ]( M& H* h; @( U3 S& t8 u% V
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
' X/ J\" |( c, D3 P) p
8 m- V3 l3 p8 |0 \! {7 q$ t1 V' R3 Z
# 特征选择
( M5 K$ X\" X' J- f9 d- ^) d
selector = SelectKBest(score_func=f_regression, k=5)# ?; y4 E& A5 N) `9 E* m
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
$ h; ~) R5 j+ Z: g/ _
X_test_selected = selector.transform(X_test_scaled)! u/ S; ?+ b% Y/ b
* K6 w% I) Z p
# 使用选择的特征重新训练模型
. d* w' j p% l\" u7 l( c4 |
model.fit(X_train_selected, y_train)3 P3 H! O( x5 l
y_pred_selected = model.predict(X_test_selected)& L X) Z, C8 v5 s' u' I6 F; ?
2 n6 X+ ~\" a) p. b\" X C2 ?
# 评估$ u4 U# |- I+ y: R) \) i
mse_selected = mean_squared_error(y_test, y_pred_selected)
/ B' Y/ Y2 M0 h3 y d
print(f"Mean Squared Error with selected features: {mse_selected}")