查看: 2461|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1183 主题	4 听众	2909 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing9 d# C/ G7 n$ @/ ~# j1 q$ {$ x
3 ?1 A4 R& e6 {. l$ }
from sklearn.model_selection import train_test_split
5 g% B9 i' i$ v9 P
$ l\\" y J+ C+ g& G0 M( Q
from sklearn.preprocessing import StandardScaler
7 A9 N8 S/ y( J& w2 u
0 c2 o( j F- i0 o! q1 B& q
from sklearn.linear_model import LinearRegression1 X2 e6 I, @\\" f8 G( }
% ]/ v3 M7 j/ s# b5 W; R0 F
from sklearn.metrics import mean_squared_error- H L8 s' l4 X& P
& i5 w! e( O/ j! q P
7 A! K' R/ {3 ^! x. C! M0 M
2 ]7 R9 F' J/ K* R( f: h: b
# 加载数据集/ E9 L5 |2 X$ w2 m5 b8 v
& P; ?- i. T: ]+ M7 x' f% y9 A
housing = fetch_california_housing()
4 W8 o' I$ o3 h. {# y( F
0 U& ~8 w$ d8 u: y* k
X, y = housing.data, housing.target
, B$ T6 |, O. h$ ]4 x* f* x2 }3 w
7 U) r# p0 ^4 ?, P3 {# i G
2 W4 i2 M& s3 G& N1 `' _; w, c2 R
6 T/ K6 ?7 U% G( P. y) }
# 划分训练集和测试集5 a$ @! `! O7 q7 P
( X5 I5 E- t6 a% G
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)& R1 |9 X# @\\" L7 R9 R5 X
) O+ c. P\\" A0 S2 o B8 q7 n\\" v; E
# s\\" q2 Y) k. s6 Q8 ]; X0 x3 W
( K' L& ^. H' @' Y\\" h6 t
# 数据预处理：标准化
- l( F4 q1 b/ Y. j3 ^: Y; g
8 b7 I( ~- ^5 t4 n, R; ~9 V9 G9 ]$ e
scaler = StandardScaler()
' ?0 q5 l/ T' P% M$ t6 ~
! g! s5 l; V$ ?+ {
X_train_scaled = scaler.fit_transform(X_train)/ Z1 {) U; i$ s0 z$ m& ~# n
0 h\\" ]5 T: ?+ I
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing9 d# C/ G7 n$ @/ ~# j1 q$ {$ x

3 ?1 A4 R& e6 {. l$ }
from sklearn.model_selection import train_test_split 
5 g% B9 i' i$ v9 P
$ l\\" y  J+ C+ g& G0 M( Q

from sklearn.preprocessing import StandardScaler 
7 A9 N8 S/ y( J& w2 u
0 c2 o( j  F- i0 o! q1 B& q

from sklearn.linear_model import LinearRegression1 X2 e6 I, @\\" f8 G( }

% ]/ v3 M7 j/ s# b5 W; R0 F

from sklearn.metrics import mean_squared_error- H  L8 s' l4 X& P

& i5 w! e( O/ j! q  P
 7 A! K' R/ {3 ^! x. C! M0 M

2 ]7 R9 F' J/ K* R( f: h: b
# 加载数据集/ E9 L5 |2 X$ w2 m5 b8 v

& P; ?- i. T: ]+ M7 x' f% y9 A
housing = fetch_california_housing() 
4 W8 o' I$ o3 h. {# y( F
 
0 U& ~8 w$ d8 u: y* k
X, y = housing.data, housing.target 
, B$ T6 |, O. h$ ]4 x* f* x2 }3 w
 
7 U) r# p0 ^4 ?, P3 {# i  G
 2 W4 i2 M& s3 G& N1 `' _; w, c2 R

6 T/ K6 ?7 U% G( P. y) }

# 划分训练集和测试集5 a$ @! `! O7 q7 P

( X5 I5 E- t6 a% G

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)& R1 |9 X# @\\" L7 R9 R5 X

) O+ c. P\\" A0 S2 o  B8 q7 n\\" v; E
 # s\\" q2 Y) k. s6 Q8 ]; X0 x3 W

( K' L& ^. H' @' Y\\" h6 t

# 数据预处理：标准化 
- l( F4 q1 b/ Y. j3 ^: Y; g
 
8 b7 I( ~- ^5 t4 n, R; ~9 V9 G9 ]$ e
scaler = StandardScaler() 
' ?0 q5 l/ T' P% M$ t6 ~
! g! s5 l; V$ ?+ {

X_train_scaled = scaler.fit_transform(X_train)/ Z1 {) U; i$ s0 z$ m& ~# n

0 h\\" ]5 T: ?+ I

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型$ Z D8 A1 {' ?
model = LinearRegression()
% l% P\" g- w% y\" k# |2 Q! g5 E ^
; ?6 }& [: V _3 B\" P: `
# 训练模型
3 m7 l$ @! I [# |4 j% u
model.fit(X_train_scaled, y_train)
7 o+ z, _7 r- m4 x% q- V
) S+ H' Z9 b7 h# D0 }
# 预测测试集
6 z, `& p/ C, D w
y_pred = model.predict(X_test_scaled)7 R5 F1 B, _. z) A- I1 A
5 g7 Q% I/ ~0 h
# 评估模型+ T$ Y' S+ t/ m2 j
mse = mean_squared_error(y_test, y_pred)/ h I8 J% Q; g0 m; _$ m
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression8 G8 M' r. C\" c+ i, v
: G1 N- @+ R# u. d
# 特征选择
. I. S3 z% n' A4 z\" K2 W; O
selector = SelectKBest(score_func=f_regression, k=5)* ?; l$ r; a) l) i4 ^- V3 W. o
X_train_selected = selector.fit_transform(X_train_scaled, y_train)& Q% ]8 f9 y4 w# Q6 J- z* H
X_test_selected = selector.transform(X_test_scaled)
- c* f/ o. o$ y+ \1 G
\" \0 y- _: p# R' D, h! N' \
# 使用选择的特征重新训练模型
6 c- r5 y\" X5 E: E( ~' i4 u; f
model.fit(X_train_selected, y_train)6 t3 [- N% H# j; S/ l\" m. \9 j$ m! T
y_pred_selected = model.predict(X_test_selected)4 i4 |& V# z2 S\" q( h( S
\" ?9 w2 J2 v/ A2 F
# 评估
$ n. g6 C6 N. S5 I& _3 A# j7 s
mse_selected = mean_squared_error(y_test, y_pred_selected)
& d3 a' c5 k( \\" }
print(f"Mean Squared Error with selected features: {mse_selected}")