查看: 2941|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1198 主题	4 听众	2978 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |正序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
( z: O) A& N, l: e1 e( w% y* ^
\\" l3 c: Y' p; n2 `5 V
from sklearn.model_selection import train_test_split
# D3 T0 K7 [7 f4 w5 [
{4 e/ z n* m7 E
from sklearn.preprocessing import StandardScaler/ r% M0 @8 c$ B4 r' n, D/ n
/ c, }) }- Y' t+ y6 f
from sklearn.linear_model import LinearRegression7 u7 X8 o\\" C* p' ~ T
- s. M5 z M. c4 K\\" l# R\\" H
from sklearn.metrics import mean_squared_error
' u. I! W) I( z9 g& f3 K
: c+ T+ n/ i$ X: @4 T! Q, H
. H4 J4 ]& s8 y! S# l! v* P
2 v1 o, K+ k- D: ~# P+ `- n
# 加载数据集* Y3 b V$ j$ O/ j1 Q! L
4 O( q) L! A4 b/ c) |1 s
housing = fetch_california_housing()
8 O) F; _, l; l, x9 `. X4 U; F
( g- w( z9 a\\" i
X, y = housing.data, housing.target
8 p/ L( A+ y3 ~. K; b g& F5 T$ I
3 @ a+ l: [! k
7 w- w! w\\" P5 O; r, t/ @. v1 P3 D
7 ~1 }; h( V% j0 `* T( q1 q
# 划分训练集和测试集& b9 V+ m. p3 M
+ |8 S0 e6 s9 t' c4 v7 c' D
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)0 U; R& X5 @' v9 t$ b
+ l) h* b+ [$ G
4 f7 l' j7 w; w* r
, M& z; E# a8 Y! z# Y% s2 M$ H
# 数据预处理：标准化% X/ N, U\\" }* f' |! p3 F
+ G& D& Z7 S4 U4 n5 M
scaler = StandardScaler()' `\\" k3 G2 K) {: P% ^( O+ E
5 A! \6 `+ a- Y& V' |
X_train_scaled = scaler.fit_transform(X_train)
& l/ [3 E% k, [) O) c3 v
\\" M! f2 N/ q9 C' b( {( l; ?
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
( z: O) A& N, l: e1 e( w% y* ^
 
\\" l3 c: Y' p; n2 `5 V
from sklearn.model_selection import train_test_split 
# D3 T0 K7 [7 f4 w5 [
 
  {4 e/ z  n* m7 E
from sklearn.preprocessing import StandardScaler/ r% M0 @8 c$ B4 r' n, D/ n

/ c, }) }- Y' t+ y6 f

from sklearn.linear_model import LinearRegression7 u7 X8 o\\" C* p' ~  T

- s. M5 z  M. c4 K\\" l# R\\" H

from sklearn.metrics import mean_squared_error 
' u. I! W) I( z9 g& f3 K
: c+ T+ n/ i$ X: @4 T! Q, H

. H4 J4 ]& s8 y! S# l! v* P
 
2 v1 o, K+ k- D: ~# P+ `- n
# 加载数据集* Y3 b  V$ j$ O/ j1 Q! L

4 O( q) L! A4 b/ c) |1 s

housing = fetch_california_housing() 
8 O) F; _, l; l, x9 `. X4 U; F
 
( g- w( z9 a\\" i
X, y = housing.data, housing.target 
8 p/ L( A+ y3 ~. K; b  g& F5 T$ I
3 @  a+ l: [! k

7 w- w! w\\" P5 O; r, t/ @. v1 P3 D
7 ~1 }; h( V% j0 `* T( q1 q

# 划分训练集和测试集& b9 V+ m. p3 M

+ |8 S0 e6 s9 t' c4 v7 c' D

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)0 U; R& X5 @' v9 t$ b

+ l) h* b+ [$ G

4 f7 l' j7 w; w* r

, M& z; E# a8 Y! z# Y% s2 M$ H
# 数据预处理：标准化% X/ N, U\\" }* f' |! p3 F

+ G& D& Z7 S4 U4 n5 M

scaler = StandardScaler()' `\\" k3 G2 K) {: P% ^( O+ E

5 A! \6 `+ a- Y& V' |
X_train_scaled = scaler.fit_transform(X_train) 
& l/ [3 E% k, [) O) c3 v
\\" M! f2 N/ q9 C' b( {( l; ?

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型, W% V0 W0 m3 o6 Q4 i0 f
model = LinearRegression()' V+ n, u8 l D+ j4 f
; c; z# {. d3 A! v4 r. N
# 训练模型
w4 g; f, J2 N7 R. T3 b% E
model.fit(X_train_scaled, y_train)/ J n& N; V/ K' t
1 n0 s9 q\" m0 d6 E
# 预测测试集
& I3 `3 Q0 x* B0 y/ Z2 X! K
y_pred = model.predict(X_test_scaled)
: b0 Z7 C2 S7 c; ?4 g& A
9 o, t B2 l. Z% R7 U7 n
# 评估模型
* |: W4 g( O5 Q/ {
mse = mean_squared_error(y_test, y_pred)% F, d9 j8 x8 \ d* I
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression- }0 V' ?* A6 ^( W, c
\" [\" i }% J$ W7 X, S) [
# 特征选择
$ Z# Z6 h$ M% o% X) i; G' p9 h
selector = SelectKBest(score_func=f_regression, k=5)
3 N# |3 \0 R$ Q9 b
X_train_selected = selector.fit_transform(X_train_scaled, y_train). c- A7 ^/ N3 k& }9 P6 d/ f7 I' u- m+ c [
X_test_selected = selector.transform(X_test_scaled)7 k3 V' q& z- h: J8 I, A6 Y
6 \\" ^/ C$ k\" N& E
# 使用选择的特征重新训练模型
# b# l5 q/ y! A9 ?$ z' l
model.fit(X_train_selected, y_train)
3 @0 [8 Y+ \6 x' T! K
y_pred_selected = model.predict(X_test_selected)
# p5 I# ]. M3 c6 V G
6 q. @ J8 c% e: A6 h8 w. @
# 评估
, G' g! L1 Y: J' [) K
mse_selected = mean_squared_error(y_test, y_pred_selected)
' ? G/ v0 M. C2 V3 a8 V
print(f"Mean Squared Error with selected features: {mse_selected}")