查看: 2775|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1189 主题	4 听众	2934 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing' Z8 s$ X Q# k1 |/ M9 a
9 ~/ A( G. L6 B\\" D& W* E+ u+ {1 P1 y
from sklearn.model_selection import train_test_split
\\" ^8 T/ w* _% j- B. u
, O# V+ B- `1 F+ O6 @; t
from sklearn.preprocessing import StandardScaler) |0 H/ f\\" {! r
& x% D* _1 D2 C! \/ `
from sklearn.linear_model import LinearRegression
3 E. p6 G# S* }\\" W( d! O f
' P; J\\" v! N! n; T/ D: R$ z# K
from sklearn.metrics import mean_squared_error3 D: I5 G8 Z% F/ i8 q3 P
H0 N/ }/ }) c3 O+ J4 V
, |$ w5 B1 V+ c: V$ a/ [
8 L6 z+ d. o; |2 r' Q. O5 v\\" V
# 加载数据集
: q3 `- g3 ^) K/ j. P
# K' T8 X: @ @; F0 X* Y- y
housing = fetch_california_housing()
' f. @% [3 Q, P8 X9 C
: ?+ T6 K) Z: Z$ _\\" O! X- t$ ~
X, y = housing.data, housing.target
0 C* d8 E7 t* _' ^7 k0 \; |
/ c! {/ ?9 X7 ~/ L0 S3 J8 ^; v; {
# 划分训练集和测试集 i8 m! D3 p+ T# y* ^! a, L: d
/ ^! b2 E s& p+ F$ g: O
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)3 q2 r4 G9 B3 }, k, t, j4 o
0 f; \' n& p: p1 X& y# n
! \# f' C' d; V: q
! W, T6 ^/ j! i4 K# z7 f
# 数据预处理：标准化
6 }( y+ p\\" q- Z* C+ V3 H
' T, `4 P, m0 ?
scaler = StandardScaler()
& s( O ?6 X5 m. A6 k% r8 o
% a* p; h9 J; _9 a1 ?+ y6 g4 M
X_train_scaled = scaler.fit_transform(X_train)$ E0 J- z6 J, ] a
* e8 B9 O5 ^$ t9 Q8 d
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing' Z8 s$ X  Q# k1 |/ M9 a

9 ~/ A( G. L6 B\\" D& W* E+ u+ {1 P1 y
from sklearn.model_selection import train_test_split 
\\" ^8 T/ w* _% j- B. u
, O# V+ B- `1 F+ O6 @; t

from sklearn.preprocessing import StandardScaler) |0 H/ f\\" {! r

& x% D* _1 D2 C! \/ `
from sklearn.linear_model import LinearRegression 
3 E. p6 G# S* }\\" W( d! O  f
' P; J\\" v! N! n; T/ D: R$ z# K

from sklearn.metrics import mean_squared_error3 D: I5 G8 Z% F/ i8 q3 P

H0 N/ }/ }) c3 O+ J4 V
 , |$ w5 B1 V+ c: V$ a/ [

8 L6 z+ d. o; |2 r' Q. O5 v\\" V

# 加载数据集 
: q3 `- g3 ^) K/ j. P
 
# K' T8 X: @  @; F0 X* Y- y
housing = fetch_california_housing() 
' f. @% [3 Q, P8 X9 C
: ?+ T6 K) Z: Z$ _\\" O! X- t$ ~

X, y = housing.data, housing.target 
0 C* d8 E7 t* _' ^7 k0 \; |
 
/ L* d9 P: F  E% z7 L7 f- W. L7 N\\" L
 
4 v6 {1 f3 o\\" ^9 U\\" l0 _9 I9 v; D, ?  l
 
/ c! {/ ?9 X7 ~/ L0 S3 J8 ^; v; {
# 划分训练集和测试集  i8 m! D3 p+ T# y* ^! a, L: d

/ ^! b2 E  s& p+ F$ g: O
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)3 q2 r4 G9 B3 }, k, t, j4 o

0 f; \' n& p: p1 X& y# n
 ! \# f' C' d; V: q

! W, T6 ^/ j! i4 K# z7 f

# 数据预处理：标准化 
6 }( y+ p\\" q- Z* C+ V3 H
 
' T, `4 P, m0 ?
scaler = StandardScaler() 
& s( O  ?6 X5 m. A6 k% r8 o
% a* p; h9 J; _9 a1 ?+ y6 g4 M

X_train_scaled = scaler.fit_transform(X_train)$ E0 J- z6 J, ]  a

* e8 B9 O5 ^$ t9 Q8 d
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
; ?) H9 x% s& P' @5 Y& u
model = LinearRegression()/ t# P, r8 D& L$ m, \, \3 u- R
4 x6 Z, T( p$ a2 f; T4 `
# 训练模型
4 I9 ~( O+ L0 R! ^2 N
model.fit(X_train_scaled, y_train)+ z1 z' l$ w$ Z, D: h
7 C8 u% f+ w% ]3 ]& x\" q
# 预测测试集& P( ~ C' s' H/ y, {; n- d
y_pred = model.predict(X_test_scaled)
' K0 V4 u' x- g4 z& ]1 f6 M
% R\" b' I* w% d0 d- W8 I: H
# 评估模型
' O; A% h3 m; |2 c# ~. U P
mse = mean_squared_error(y_test, y_pred)! z8 c* h: ?6 _' Y N. P% z; U/ t\" J
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
$ d9 a+ `, e) J2 U& \
8 e+ X. o/ T1 }' n1 G1 l4 p
# 特征选择5 y6 n% j0 m$ k4 V- W
selector = SelectKBest(score_func=f_regression, k=5)3 D( \2 |6 P. f: v: j1 c
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
% ~9 C* l) S' m# R& l# j6 ?
X_test_selected = selector.transform(X_test_scaled)
( x* W. @, ~+ \1 T
5 W j7 o$ ~& N' a( p
# 使用选择的特征重新训练模型
5 V g2 H c! q8 b# W* D
model.fit(X_train_selected, y_train)
' a' X# k7 Y6 U1 \- M$ S3 K5 r' M
y_pred_selected = model.predict(X_test_selected)
8 W M1 S* M) h
! ^' g1 w* d9 z) }& @$ [
# 评估& X; R! o\" S- \8 _
mse_selected = mean_squared_error(y_test, y_pred_selected)% I; r' T) ?& W
print(f"Mean Squared Error with selected features: {mse_selected}")