查看: 2700|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1186 主题	4 听众	2922 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |正序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
\\" Z' T4 [( i: K
/ ]9 T6 T+ [. Z1 J. q! T& L. v* N
from sklearn.model_selection import train_test_split
$ A# h, y7 |1 {
: I: d P4 e: `! k
from sklearn.preprocessing import StandardScaler
p. p2 x* n0 }, T* j. f
% X& I: }: l w. ]$ [
from sklearn.linear_model import LinearRegression( Q) e- M. S0 u3 ]( Y\\" `6 n' H
' Q8 l( G* u# b8 G
from sklearn.metrics import mean_squared_error2 \! ^6 g8 H+ Y2 n x# Z' }
2 W. R2 T3 c) l1 V! `- T
0 B+ [2 p% u$ r+ r
& c* C. {4 m) N X* v
# 加载数据集
5 _9 j* G0 ]% U; U& ~7 e
/ h' Z\\" D7 x' d3 l; E! ^
housing = fetch_california_housing()1 v, M9 C8 p8 }% Y: x
7 P* O! n2 G' N6 h# y V$ w8 @
X, y = housing.data, housing.target
, b) j5 E' @. ^
, H2 l\\" O' x: C1 n\\" V4 u: g
- l0 ^/ L& f/ ^
/ S\\" {2 H/ I Z! S( b$ ?3 |
# 划分训练集和测试集1 i% }1 m& @- V* t5 V9 g8 E4 r
+ l4 v' s\\" R- _' k: L: N* ~
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)9 z2 w n( o' o& a3 r% P
Y5 V9 B& \' p4 J+ a
2 ]! Z( n4 ~5 v\\" |
! ~5 ~& X% t! y3 t
# 数据预处理：标准化 N9 ^+ W* B7 {2 |
5 N2 d2 P- d9 A
scaler = StandardScaler()+ p/ ]0 j* L7 l9 |! x) j$ [% a
$ T$ d4 \* X( d3 Z$ m
X_train_scaled = scaler.fit_transform(X_train)
( A, u9 z* h7 g$ [% W) x
- F4 Q' V& ~) _4 M
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
\\" Z' T4 [( i: K
 
/ ]9 T6 T+ [. Z1 J. q! T& L. v* N
from sklearn.model_selection import train_test_split 
$ A# h, y7 |1 {
: I: d  P4 e: `! k

from sklearn.preprocessing import StandardScaler 
  p. p2 x* n0 }, T* j. f
 
% X& I: }: l  w. ]$ [
from sklearn.linear_model import LinearRegression( Q) e- M. S0 u3 ]( Y\\" `6 n' H

' Q8 l( G* u# b8 G

from sklearn.metrics import mean_squared_error2 \! ^6 g8 H+ Y2 n  x# Z' }

2 W. R2 T3 c) l1 V! `- T

0 B+ [2 p% u$ r+ r
 
& c* C. {4 m) N  X* v
# 加载数据集 
5 _9 j* G0 ]% U; U& ~7 e
/ h' Z\\" D7 x' d3 l; E! ^

housing = fetch_california_housing()1 v, M9 C8 p8 }% Y: x

7 P* O! n2 G' N6 h# y  V$ w8 @

X, y = housing.data, housing.target 
, b) j5 E' @. ^
, H2 l\\" O' x: C1 n\\" V4 u: g

- l0 ^/ L& f/ ^

/ S\\" {2 H/ I  Z! S( b$ ?3 |
# 划分训练集和测试集1 i% }1 m& @- V* t5 V9 g8 E4 r

+ l4 v' s\\" R- _' k: L: N* ~
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)9 z2 w  n( o' o& a3 r% P

Y5 V9 B& \' p4 J+ a
 2 ]! Z( n4 ~5 v\\" |

! ~5 ~& X% t! y3 t
# 数据预处理：标准化  N9 ^+ W* B7 {2 |

5 N2 d2 P- d9 A
scaler = StandardScaler()+ p/ ]0 j* L7 l9 |! x) j$ [% a

$ T$ d4 \* X( d3 Z$ m

X_train_scaled = scaler.fit_transform(X_train) 
( A, u9 z* h7 g$ [% W) x
 
- F4 Q' V& ~) _4 M
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型! v7 I8 A, R6 s% k7 U\" X3 W% p
model = LinearRegression()
\" {; J5 k' h& j6 e\" p( M
/ d) o0 q8 R\" z& m: [; @\" X; E, ]
# 训练模型
2 a5 d; `+ m. g5 |: ?! t
model.fit(X_train_scaled, y_train)5 J( L9 M+ v, \9 c
/ g& i' U! o6 m3 L& m( c
# 预测测试集
* _' u _' G: ?0 U. p ]
y_pred = model.predict(X_test_scaled)( Z/ S; K; Q. n' l
$ R- N9 o# g2 `4 B
# 评估模型
% n5 `0 B% h1 T\" ^) ?/ U7 M: i9 ^
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
# L+ D( g: Z! x
6 C4 _8 T$ n& n+ r- \
# 特征选择' b l' y+ J, V9 x3 s4 F* i7 i
selector = SelectKBest(score_func=f_regression, k=5)
( k3 ]& }. D& y0 ~! R% q1 c' m
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
& E' e |# @1 y5 t
X_test_selected = selector.transform(X_test_scaled)9 e' T: X \* f& }\" B
2 }% y; \) }' D6 M: }) }+ a
# 使用选择的特征重新训练模型7 _2 ~\" G3 g$ M( T1 S4 \
model.fit(X_train_selected, y_train)
\" u+ z( C( p( b7 b\" M4 p8 W' }1 N
y_pred_selected = model.predict(X_test_selected), y+ M, H! z8 m. z9 u8 _* c
( L& G5 }2 Q- a$ w+ }$ E
# 评估
% E t! i- [2 r9 o1 s
mse_selected = mean_squared_error(y_test, y_pred_selected)( [: U% N) j- l, k) b
print(f"Mean Squared Error with selected features: {mse_selected}")