查看: 2769|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1189 主题	4 听众	2934 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing1 c7 v8 q- G% \0 W5 k2 Q! _
4 h9 ~5 _% l; f7 w
from sklearn.model_selection import train_test_split
1 q# Z9 `/ n! {
- U& ~- _$ |4 i0 K3 r
from sklearn.preprocessing import StandardScaler
3 Y# A/ n; y7 J6 p4 @6 I6 v7 m
from sklearn.linear_model import LinearRegression
: s, m\\" [. p4 M% w. e3 B
1 G i# J0 F( R( F3 @
from sklearn.metrics import mean_squared_error, ^' }/ f1 B; l6 Y7 V4 C/ |8 y/ [
9 b' Z& o' F \' u6 r' o7 K
2 U( i! @\\" m. O0 o$ e& ?
1 @1 R7 o: U1 T: j& n: o% |
# 加载数据集 p( Z\\" A0 X) i- p+ F& u
4 {- S) A) t( N; _5 H1 v6 L7 |
housing = fetch_california_housing()+ s8 K9 Z, ]) q$ V
4 n% r( l2 ~0 b; N# w4 E* y
X, y = housing.data, housing.target
( b& x8 O* ?2 p# n\\" H# }% m
! |7 W9 D4 B9 t
, h2 C% O* F\\" {# W! K- Q
& M/ }, j; Q+ p8 B
# 划分训练集和测试集
. |- i4 w+ ~. n4 T* t. K/ b
2 d* v8 J: r; |* x7 p
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
1 E( a8 j) E8 j$ U6 n* o
6 S# q/ ?# [\\" I% _
; x1 u) A; J# Z/ g2 {+ W
\\" x; H0 v. P& y
# 数据预处理：标准化8 k5 x. ?5 q6 i( K\\" h7 |# d
9 T' [ D! X! @) J, `
scaler = StandardScaler()
\\" h+ D+ c- }- |- @/ |5 o( \
9 U# l+ c7 w- s: Y* y
X_train_scaled = scaler.fit_transform(X_train)
2 @: l; z2 o9 X$ V }$ h! O. G
5 G6 R: y' ?+ s( p/ U/ B
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing1 c7 v8 q- G% \0 W5 k2 Q! _

4 h9 ~5 _% l; f7 w

from sklearn.model_selection import train_test_split 
1 q# Z9 `/ n! {
 
- U& ~- _$ |4 i0 K3 r
from sklearn.preprocessing import StandardScaler 
7 L2 j2 a8 P8 I9 R. @- X: _+ X- ~/ _! C4 y
 
3 Y# A/ n; y7 J6 p4 @6 I6 v7 m
from sklearn.linear_model import LinearRegression 
: s, m\\" [. p4 M% w. e3 B
1 G  i# J0 F( R( F3 @

from sklearn.metrics import mean_squared_error, ^' }/ f1 B; l6 Y7 V4 C/ |8 y/ [

9 b' Z& o' F  \' u6 r' o7 K

2 U( i! @\\" m. O0 o$ e& ?
 
1 @1 R7 o: U1 T: j& n: o% |
# 加载数据集  p( Z\\" A0 X) i- p+ F& u

4 {- S) A) t( N; _5 H1 v6 L7 |

housing = fetch_california_housing()+ s8 K9 Z, ]) q$ V

4 n% r( l2 ~0 b; N# w4 E* y

X, y = housing.data, housing.target 
( b& x8 O* ?2 p# n\\" H# }% m
 
! |7 W9 D4 B9 t
 , h2 C% O* F\\" {# W! K- Q

& M/ }, j; Q+ p8 B
# 划分训练集和测试集 
. |- i4 w+ ~. n4 T* t. K/ b
2 d* v8 J: r; |* x7 p

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
1 E( a8 j) E8 j$ U6 n* o
 
6 S# q/ ?# [\\" I% _
 ; x1 u) A; J# Z/ g2 {+ W

\\" x; H0 v. P& y

# 数据预处理：标准化8 k5 x. ?5 q6 i( K\\" h7 |# d

9 T' [  D! X! @) J, `

scaler = StandardScaler() 
\\" h+ D+ c- }- |- @/ |5 o( \
9 U# l+ c7 w- s: Y* y

X_train_scaled = scaler.fit_transform(X_train) 
2 @: l; z2 o9 X$ V  }$ h! O. G
5 G6 R: y' ?+ s( p/ U/ B

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
- d# r\" w9 L6 ?\" A8 _\" X
model = LinearRegression()8 v0 W7 n7 }# \& t
X; h/ [: A0 w- v! z
# 训练模型
/ |. J! X& J0 q0 v: b, {1 ?
model.fit(X_train_scaled, y_train)
2 e/ n7 q3 m7 ?: Q3 q1 u
$ Q6 Z( D7 S4 t* n/ i& O
# 预测测试集
\" l9 h# l\" ^6 ]3 u% p3 ~9 z
y_pred = model.predict(X_test_scaled)
7 x) N! X5 |. D7 J1 f( B6 `
' D1 o5 _1 g& k% X3 a$ s
# 评估模型* ?2 `: m4 P% f- C6 g8 V
mse = mean_squared_error(y_test, y_pred)
: P5 B/ a) Q% E6 E! |# S$ b
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression, Z3 a; I# G+ A/ O0 }! q
& L4 l/ B* e0 K7 R1 `\" J& l
# 特征选择
7 ^3 B8 o# ~3 c
selector = SelectKBest(score_func=f_regression, k=5). }: v8 |9 d3 U5 D\" s8 u
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
9 }, V' i; V3 P
X_test_selected = selector.transform(X_test_scaled)6 k! \\" {. s% v
' o0 p1 q( ?+ a/ q8 H N( H
# 使用选择的特征重新训练模型* \1 P* w' a3 T j
model.fit(X_train_selected, y_train)
( T- o. U( p8 x( A X+ d+ m, k
y_pred_selected = model.predict(X_test_selected)# E( e4 m! U1 p3 Q
$ i0 S! ~5 n\" _: A F4 c
# 评估- C+ c+ h. B4 R1 J
mse_selected = mean_squared_error(y_test, y_pred_selected)
( w0 S' `- X( [. V* Q# P
print(f"Mean Squared Error with selected features: {mse_selected}")