查看: 2760|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1189 主题	4 听众	2934 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
2 M0 p) h( v& U
* T! b4 D8 L6 K0 \6 c- {
from sklearn.model_selection import train_test_split: O9 O( F2 K0 @9 O/ u* ^
- g# @- A, T t3 K) I# b; _
from sklearn.preprocessing import StandardScaler
- v- C& \0 c1 `, P, ~+ k
1 x7 k+ G8 W, u6 B\\" m: M9 X\\" f. _
from sklearn.linear_model import LinearRegression4 J) S8 w) x8 s7 v\\" O5 S4 O
% n: S% }: W. u+ N/ b9 w6 p* Z- m3 p/ K
from sklearn.metrics import mean_squared_error
4 \7 C! T. e, G; e8 K1 `4 B
$ i* C( G! @( y% q2 C/ _
+ _$ b2 R9 U3 h' E
# I7 y7 s9 ^+ _% U
# 加载数据集7 g% b. n/ [0 A, o+ R9 U9 r
+ |\\" B& i' G. c U$ A7 E: e
housing = fetch_california_housing()
+ ^' l. a% T; g% A\\" y, n( i8 [# `
0 O6 u( K4 k2 a\\" M\\" V W
X, y = housing.data, housing.target
8 y) D+ a1 P+ a% ]+ k
7 C' Z P4 L7 F9 T' v( I
6 u# W2 Q: j( E* F# g0 f) s+ e
5 X$ l2 l7 ~, {- h- A
# 划分训练集和测试集& X& w1 [, z, o# V8 D
9 b/ E% l4 p7 e. r$ r! Y+ ^
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)- } b8 k7 i# c
$ @) m$ h\\" |( d6 S- \5 p% w$ Z
, p5 y2 I6 x+ n, h
4 ~9 |; [3 J+ n/ J1 X% x6 M
# 数据预处理：标准化
4 d# g/ Z% i6 V% T, H9 s q0 Z
# C3 U\\" s& R* x* }
scaler = StandardScaler()& [! y, f) P# M& t
- v9 t1 x9 O9 B: }
X_train_scaled = scaler.fit_transform(X_train)
. V' i! G; \8 x
3 C3 u( c9 B% O$ i
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
2 M0 p) h( v& U
* T! b4 D8 L6 K0 \6 c- {

from sklearn.model_selection import train_test_split: O9 O( F2 K0 @9 O/ u* ^

- g# @- A, T  t3 K) I# b; _

from sklearn.preprocessing import StandardScaler 
- v- C& \0 c1 `, P, ~+ k
1 x7 k+ G8 W, u6 B\\" m: M9 X\\" f. _

from sklearn.linear_model import LinearRegression4 J) S8 w) x8 s7 v\\" O5 S4 O

% n: S% }: W. u+ N/ b9 w6 p* Z- m3 p/ K

from sklearn.metrics import mean_squared_error 
4 \7 C! T. e, G; e8 K1 `4 B
$ i* C( G! @( y% q2 C/ _

+ _$ b2 R9 U3 h' E

# I7 y7 s9 ^+ _% U

# 加载数据集7 g% b. n/ [0 A, o+ R9 U9 r

+ |\\" B& i' G. c  U$ A7 E: e

housing = fetch_california_housing() 
+ ^' l. a% T; g% A\\" y, n( i8 [# `
0 O6 u( K4 k2 a\\" M\\" V  W

X, y = housing.data, housing.target 
8 y) D+ a1 P+ a% ]+ k
 
7 C' Z  P4 L7 F9 T' v( I
 6 u# W2 Q: j( E* F# g0 f) s+ e

5 X$ l2 l7 ~, {- h- A

# 划分训练集和测试集& X& w1 [, z, o# V8 D

9 b/ E% l4 p7 e. r$ r! Y+ ^
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)- }  b8 k7 i# c

$ @) m$ h\\" |( d6 S- \5 p% w$ Z
 , p5 y2 I6 x+ n, h

4 ~9 |; [3 J+ n/ J1 X% x6 M
# 数据预处理：标准化 
4 d# g/ Z% i6 V% T, H9 s  q0 Z
# C3 U\\" s& R* x* }

scaler = StandardScaler()& [! y, f) P# M& t

- v9 t1 x9 O9 B: }

X_train_scaled = scaler.fit_transform(X_train) 
. V' i! G; \8 x
3 C3 u( c9 B% O$ i

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
2 Z3 r2 n I% x% X
model = LinearRegression()+ u- h. Q5 R% l- c
, l( v& l4 H2 s7 r7 _( o- R, f
# 训练模型; X( ?: B) v2 h: z) x
model.fit(X_train_scaled, y_train)6 g2 k0 a9 s+ ~7 D+ I
/ p9 D- O/ J. O: \ ~
# 预测测试集! W\" L4 ~0 e: a5 R1 q% A1 {% {2 p, a
y_pred = model.predict(X_test_scaled)# D% E, J% |/ n\" c9 A8 b
\" Z# t\" B+ q, D, G) M0 L$ b9 k6 F. F
# 评估模型
% Y& x& e4 `# e: F% x) _ _) E
mse = mean_squared_error(y_test, y_pred)6 Q5 F5 s; _6 j& y4 g
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
! K+ Z% { Q* o1 L \1 H) S
% T& z0 X# m1 r t, q2 r
# 特征选择
+ W/ M7 b% P* b1 R! \
selector = SelectKBest(score_func=f_regression, k=5)
% X+ L+ P9 l' g
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
! Z& X3 g b8 v
X_test_selected = selector.transform(X_test_scaled)
. X( ?3 y# X/ B1 [! @! g( v5 l
; ~! e4 e* F, k4 F2 J
# 使用选择的特征重新训练模型
5 F$ G$ w7 A5 [( T) R
model.fit(X_train_selected, y_train)% z4 k5 g d; V6 s' R( o
y_pred_selected = model.predict(X_test_selected); Z# ` w; T% a
/ \0 \( i; s9 f( C G
# 评估$ A) n8 l5 t- \. B3 R\" k
mse_selected = mean_squared_error(y_test, y_pred_selected)
. k( w# D4 ~1 ~2 J
print(f"Mean Squared Error with selected features: {mse_selected}")