查看: 2942|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1198 主题	4 听众	2978 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
L. n! \1 r# w1 N8 \: Y
; v ]* X2 m4 j( a
from sklearn.model_selection import train_test_split8 `$ O/ [& p' x) R! _
: f8 ^8 n8 _7 i2 @
from sklearn.preprocessing import StandardScaler
/ j& c& N( o, d5 C) H# b
, H; v, v. v% z# m- t/ x
from sklearn.linear_model import LinearRegression
# W# F\\" G5 l\\" t% j- E8 z: U
: k5 a5 O. Z\\" v- X1 I
from sklearn.metrics import mean_squared_error
) ~9 N- j# D2 @3 @$ u
: ~, s$ a# A1 N! {0 k# g0 R! _/ h
3 ^# _; t2 c& f\\" Z# y G! d
9 r% [% Z* ?\\" Y
# 加载数据集% P\\" ^7 b. B\\" c: D/ {\\" K: X6 i
, j\\" B' g! c% G1 U. i- m0 X5 ~( |
housing = fetch_california_housing()8 {0 \1 X& J; V* H) F/ j
: |* w. \5 R- d9 q6 H' T; j
X, y = housing.data, housing.target
1 w2 X% k$ S& X& C
( e8 D. B9 l. ?) q/ c9 }
8 d- ?% U2 p/ _0 R% t' ~, H
& f( Z\\" s; Q) G; V* a6 k# A, Y
# 划分训练集和测试集) C- M5 A* O$ y1 k( b1 j* {
5 b' a# I- j6 i
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)5 Q' ^7 {3 h\\" e\\" S
6 g A. Y6 f& l9 ~9 u* V- G4 W
* ]# y' f# a/ \! \3 l8 M9 K3 t* }
* W2 ? w& l- z* L
# 数据预处理：标准化( }7 F% Q9 D6 P: ?8 D+ Y
, C5 D% b2 f, H. ]7 ]7 b
scaler = StandardScaler()
5 B2 Z! U; C9 W
g0 J' @ t/ ]6 n& h
X_train_scaled = scaler.fit_transform(X_train)
7 @3 v3 I& q+ o$ m5 A
' a( I7 i\\" S1 M; G0 N
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
  L. n! \1 r# w1 N8 \: Y
; v  ]* X2 m4 j( a

from sklearn.model_selection import train_test_split8 `$ O/ [& p' x) R! _

: f8 ^8 n8 _7 i2 @

from sklearn.preprocessing import StandardScaler 
/ j& c& N( o, d5 C) H# b
, H; v, v. v% z# m- t/ x

from sklearn.linear_model import LinearRegression 
# W# F\\" G5 l\\" t% j- E8 z: U
 
: k5 a5 O. Z\\" v- X1 I
from sklearn.metrics import mean_squared_error 
) ~9 N- j# D2 @3 @$ u
: ~, s$ a# A1 N! {0 k# g0 R! _/ h

3 ^# _; t2 c& f\\" Z# y  G! d

9 r% [% Z* ?\\" Y

# 加载数据集% P\\" ^7 b. B\\" c: D/ {\\" K: X6 i

, j\\" B' g! c% G1 U. i- m0 X5 ~( |

housing = fetch_california_housing()8 {0 \1 X& J; V* H) F/ j

: |* w. \5 R- d9 q6 H' T; j
X, y = housing.data, housing.target 
1 w2 X% k$ S& X& C
 
( e8 D. B9 l. ?) q/ c9 }
 8 d- ?% U2 p/ _0 R% t' ~, H

& f( Z\\" s; Q) G; V* a6 k# A, Y

# 划分训练集和测试集) C- M5 A* O$ y1 k( b1 j* {

5 b' a# I- j6 i
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)5 Q' ^7 {3 h\\" e\\" S

6 g  A. Y6 f& l9 ~9 u* V- G4 W
 
* ]# y' f# a/ \! \3 l8 M9 K3 t* }
* W2 ?  w& l- z* L

# 数据预处理：标准化( }7 F% Q9 D6 P: ?8 D+ Y

, C5 D% b2 f, H. ]7 ]7 b

scaler = StandardScaler() 
5 B2 Z! U; C9 W
  g0 J' @  t/ ]6 n& h

X_train_scaled = scaler.fit_transform(X_train) 
7 @3 v3 I& q+ o$ m5 A
' a( I7 i\\" S1 M; G0 N

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
1 {, J' q( t8 h
model = LinearRegression(): V( k4 w2 v: D5 Q: a. d. i j\" j$ n
9 g) V0 b: `: f+ Q+ l! z. h& H3 |
# 训练模型
0 ~2 w2 n9 C: {\" f/ w8 T
model.fit(X_train_scaled, y_train)( E+ E7 F6 [. U5 h5 I* v
7 k# V* s7 X9 y5 @/ @
# 预测测试集
, t s6 ?) e1 D( J, Y
y_pred = model.predict(X_test_scaled) A# b0 }) z9 Y+ D* P
\" Y1 d1 i1 v a1 M8 @
# 评估模型
: ^' r, r; h7 E) ^ k
mse = mean_squared_error(y_test, y_pred)
7 P9 n) w5 F7 N
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression, H/ Q\" J2 L! P. v# o
@- _3 L4 i+ k9 j5 f
# 特征选择
6 R7 g; j: {: p$ T. q; U
selector = SelectKBest(score_func=f_regression, k=5)1 J M: [\" z- R* u9 f8 k6 w M
X_train_selected = selector.fit_transform(X_train_scaled, y_train)# D! t. i0 `3 t+ L, x
X_test_selected = selector.transform(X_test_scaled)
: r. D$ k+ {9 d! {0 y, B7 Z
5 }# ?( B9 ~4 w1 x) H1 Z8 x
# 使用选择的特征重新训练模型
9 Q7 A/ c. b& _# o6 O# R) Y8 m
model.fit(X_train_selected, y_train)\" f( U1 b- ~; v; M0 I. d
y_pred_selected = model.predict(X_test_selected)
; n- x. g+ D2 B) X! |
4 A# U3 t/ c$ c6 Z
# 评估
2 l) ?* l# o) h& @$ O
mse_selected = mean_squared_error(y_test, y_pred_selected)
; @( C/ X3 j; r+ t) k
print(f"Mean Squared Error with selected features: {mse_selected}")