查看: 2695|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1186 主题	4 听众	2922 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
/ M\\" G; w/ J1 U# @. z
, m% ~* y# B p3 b% L
from sklearn.model_selection import train_test_split/ R& U. x. F* x\\" C( i
3 g% t! W! A1 J: a7 n
from sklearn.preprocessing import StandardScaler3 q1 V/ b% |- }6 ^7 T0 z
. }, Z' O1 h+ \. V) H
from sklearn.linear_model import LinearRegression
7 t U9 v3 ^6 ?* K0 Y1 x
, a0 L E\\" Q& R1 d8 }
from sklearn.metrics import mean_squared_error8 S9 D+ P% Y5 Z& V' u0 R
; @& ^1 |! T! h, } ^
* r7 x$ p) A# Y4 I: [/ ]\\" Q5 y( E
0 C! U: b9 [0 Q
# 加载数据集' `\\" [0 W\\" j) |2 R: u1 K
: }! |, ]! r4 B
housing = fetch_california_housing()
# h: `% c5 _5 a. r! f2 Q\\" H
: H) D C4 R, y+ |( R8 T
X, y = housing.data, housing.target
5 _0 x# P2 K5 M; A- y; m6 K1 M
+ `# ^+ L! E; s7 H0 ~\\" K, S# Z4 ^
$ \+ r/ x: a( J* q6 t\\" |. t5 {- G# g
0 x9 l3 r: O$ m7 S) I5 c
# 划分训练集和测试集
- p. O1 ?) q g* i9 I9 B* c
+ b$ {( K3 G! A. ~6 {. u
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
% ?\\" Q: o G! n
}& Z\\" v9 V1 V/ Y4 D
/ V! S! u6 {, d3 _, V6 U
( Y* K( h' l* t) p, u
# 数据预处理：标准化7 e1 L+ j6 v8 g\\" @5 p
8 }. C2 p0 z6 Q
scaler = StandardScaler()
0 g! i& u/ m$ |) i+ Z
; L4 }7 z) ^\\" r5 a+ W( ~; D H
X_train_scaled = scaler.fit_transform(X_train). O5 k: Z1 r9 C
1 E5 W( e2 G- ?& e; U
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
/ M\\" G; w/ J1 U# @. z
 
, m% ~* y# B  p3 b% L
from sklearn.model_selection import train_test_split/ R& U. x. F* x\\" C( i

3 g% t! W! A1 J: a7 n

from sklearn.preprocessing import StandardScaler3 q1 V/ b% |- }6 ^7 T0 z

. }, Z' O1 h+ \. V) H
from sklearn.linear_model import LinearRegression 
7 t  U9 v3 ^6 ?* K0 Y1 x
, a0 L  E\\" Q& R1 d8 }

from sklearn.metrics import mean_squared_error8 S9 D+ P% Y5 Z& V' u0 R

; @& ^1 |! T! h, }  ^

* r7 x$ p) A# Y4 I: [/ ]\\" Q5 y( E

0 C! U: b9 [0 Q
# 加载数据集' `\\" [0 W\\" j) |2 R: u1 K

: }! |, ]! r4 B

housing = fetch_california_housing() 
# h: `% c5 _5 a. r! f2 Q\\" H
: H) D  C4 R, y+ |( R8 T

X, y = housing.data, housing.target 
5 _0 x# P2 K5 M; A- y; m6 K1 M
 
+ `# ^+ L! E; s7 H0 ~\\" K, S# Z4 ^
 
$ \+ r/ x: a( J* q6 t\\" |. t5 {- G# g
 
0 x9 l3 r: O$ m7 S) I5 c
# 划分训练集和测试集 
- p. O1 ?) q  g* i9 I9 B* c
+ b$ {( K3 G! A. ~6 {. u

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
% ?\\" Q: o  G! n
 
  }& Z\\" v9 V1 V/ Y4 D
 / V! S! u6 {, d3 _, V6 U

( Y* K( h' l* t) p, u

# 数据预处理：标准化7 e1 L+ j6 v8 g\\" @5 p

8 }. C2 p0 z6 Q
scaler = StandardScaler() 
0 g! i& u/ m$ |) i+ Z
; L4 }7 z) ^\\" r5 a+ W( ~; D  H

X_train_scaled = scaler.fit_transform(X_train). O5 k: Z1 r9 C

1 E5 W( e2 G- ?& e; U

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型6 O# J o0 O5 Y }, f/ H( d
model = LinearRegression()
' V3 _8 e7 ^# ~ B @! L5 O' C
+ l3 P+ o1 K3 ]) F2 u8 R
# 训练模型- Z) t# {1 Y) G% \! Y7 D
model.fit(X_train_scaled, y_train)6 @: _ @% n2 k, ]+ |
3 [3 p3 X% U1 S' ~! q7 @+ F
# 预测测试集
: a' n: O0 {% ~; R
y_pred = model.predict(X_test_scaled)5 P1 b, T0 H7 F3 c$ |& M7 Q6 K
O, \0 K! D8 q y* T) T
# 评估模型
$ s* R! T! d$ t
mse = mean_squared_error(y_test, y_pred)
/ x4 V( S0 m }$ M3 {5 e: a
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
% [: y V) V. S- O7 e, D9 p
0 P+ A8 A& r2 O3 y( `; w
# 特征选择
9 P+ g, @. S' v7 c$ G# b: C6 K* J
selector = SelectKBest(score_func=f_regression, k=5)
6 u% y. L, _3 n+ |
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
( r6 i5 {) Z7 N( w8 |/ i* \
X_test_selected = selector.transform(X_test_scaled)
\" ~3 |5 p- w9 j% t- F- R
0 F) x% R\" l: Z- l
# 使用选择的特征重新训练模型
$ M\" f [\" B( d& Z8 {# w
model.fit(X_train_selected, y_train)
\" Y6 g$ i- j7 |2 g; j+ F% k
y_pred_selected = model.predict(X_test_selected)# R+ ?7 c; l! A, `
- J+ n5 [- C/ S B8 b* ` u
# 评估% n' i0 s% M3 w
mse_selected = mean_squared_error(y_test, y_pred_selected)
4 e' w# v4 J( w. O- }; q \
print(f"Mean Squared Error with selected features: {mse_selected}")