查看: 2816|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1189 主题	4 听众	2934 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing. B% T4 S: m! }/ N7 P& N
0 g B& ]) X: K& ^& C+ w& e
from sklearn.model_selection import train_test_split7 p\\" s3 U1 F! J8 l r$ {
, O7 B\\" {& N) v
from sklearn.preprocessing import StandardScaler: @ ~0 B7 S0 Q9 }# v1 r- M. r: T
- k- K; E. R2 j& o
from sklearn.linear_model import LinearRegression
6 o+ n0 S6 U\\" S\\" T) j+ D
, V% R; E0 L/ ?& }) G
from sklearn.metrics import mean_squared_error
. Q# e, O6 @2 Z# {& s( N
; f* d3 Y0 m) i$ f6 p/ x! Z
\\" L\\" h/ S% x6 S0 k
' ]8 G* I: f+ G+ h C, p4 v
# 加载数据集3 u, \. J# J' n& y
% x! Y, a* y7 P0 w2 x! v
housing = fetch_california_housing()
, [$ W' ?- T, d\\" g/ D9 ]: q! i1 R
0 ]( e6 W* O# z% Z4 R
X, y = housing.data, housing.target
8 g' X9 H5 X( f
+ Q, G' r$ E+ r9 `) h1 }0 N
: f/ W$ z. Y) j\\" u6 {' l1 |
( ^1 R0 y1 Q. p\\" B$ x
# 划分训练集和测试集
* u- x' F+ v+ h3 P# ^9 i# ]; i
' k% ?2 v% @. K\\" d( o
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
! p# ^, Z6 p9 t+ I\\" f. {( U\\" M
2 ^5 A/ X X( d
: ^' C/ V* I b% s
8 c. Z\\" r- Z# J9 d7 A2 x
# 数据预处理：标准化 {& B# R' ^& w# P! @, \
. ?' F$ _8 [2 M0 W% A& R! a
scaler = StandardScaler()- W4 h- @9 O* x5 G: k
' _1 R5 t% H7 d) D8 n7 V
X_train_scaled = scaler.fit_transform(X_train)1 B8 E, _3 q' [6 v# W+ T9 ?\\" u( F
! `5 A% O: e* u% W' \' w
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing. B% T4 S: m! }/ N7 P& N

0 g  B& ]) X: K& ^& C+ w& e

from sklearn.model_selection import train_test_split7 p\\" s3 U1 F! J8 l  r$ {

, O7 B\\" {& N) v
from sklearn.preprocessing import StandardScaler: @  ~0 B7 S0 Q9 }# v1 r- M. r: T

- k- K; E. R2 j& o
from sklearn.linear_model import LinearRegression 
6 o+ n0 S6 U\\" S\\" T) j+ D
 
, V% R; E0 L/ ?& }) G
from sklearn.metrics import mean_squared_error 
. Q# e, O6 @2 Z# {& s( N
; f* d3 Y0 m) i$ f6 p/ x! Z

\\" L\\" h/ S% x6 S0 k

' ]8 G* I: f+ G+ h  C, p4 v

# 加载数据集3 u, \. J# J' n& y

% x! Y, a* y7 P0 w2 x! v

housing = fetch_california_housing() 
, [$ W' ?- T, d\\" g/ D9 ]: q! i1 R
0 ]( e6 W* O# z% Z4 R

X, y = housing.data, housing.target 
8 g' X9 H5 X( f
+ Q, G' r$ E+ r9 `) h1 }0 N

: f/ W$ z. Y) j\\" u6 {' l1 |
( ^1 R0 y1 Q. p\\" B$ x

# 划分训练集和测试集 
* u- x' F+ v+ h3 P# ^9 i# ]; i
' k% ?2 v% @. K\\" d( o

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
! p# ^, Z6 p9 t+ I\\" f. {( U\\" M
 
2 ^5 A/ X  X( d
 
: ^' C/ V* I  b% s
8 c. Z\\" r- Z# J9 d7 A2 x

# 数据预处理：标准化  {& B# R' ^& w# P! @, \

. ?' F$ _8 [2 M0 W% A& R! a

scaler = StandardScaler()- W4 h- @9 O* x5 G: k

' _1 R5 t% H7 d) D8 n7 V

X_train_scaled = scaler.fit_transform(X_train)1 B8 E, _3 q' [6 v# W+ T9 ?\\" u( F

! `5 A% O: e* u% W' \' w
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
% b* F3 q% I2 w8 s& `
model = LinearRegression()* p2 ~3 K6 K* `+ i5 `2 I+ @# B# f
6 J\" s+ V' V, F( k$ D
# 训练模型
( B- e4 V5 s! u* @9 q$ _6 v
model.fit(X_train_scaled, y_train)( h2 t6 y, P+ ?2 t. e. M8 ]
. s9 g3 U0 J* q0 f
# 预测测试集
$ }4 i/ [- [* u$ U( k
y_pred = model.predict(X_test_scaled)8 G8 w! A; y: v\" j! K$ T! N
% a3 u) `& d+ m
# 评估模型
2 c3 Q% J4 w2 K+ K* W. i% @. v* M
mse = mean_squared_error(y_test, y_pred)/ D/ G7 h6 T4 g1 f5 z
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
% B9 d$ s) l2 {# ~: g
. j- {0 c$ Q: [; }
# 特征选择) O/ M' B/ X Z+ |0 P! |8 s) R
selector = SelectKBest(score_func=f_regression, k=5)% m5 L. Q3 ~/ s# x% F
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
% s: |+ c. t' K0 j8 I; z! I W$ U
X_test_selected = selector.transform(X_test_scaled)
; ^. a6 W: p' n& `! ?# I1 W3 b7 t) S
! z4 Y. C: H% V, _
# 使用选择的特征重新训练模型3 o# t; F- K. V\" L, l6 ]0 B; [
model.fit(X_train_selected, y_train)
! h6 d* e3 s\" Y/ N1 [3 P
y_pred_selected = model.predict(X_test_selected)) D- l4 f. x. Y! o( z. X& O
- f+ e4 N+ j. ?1 z: w
# 评估( _% R3 U, E6 f( E- Q0 s
mse_selected = mean_squared_error(y_test, y_pred_selected)- S9 R, L. h) A5 p+ O
print(f"Mean Squared Error with selected features: {mse_selected}")