查看: 2766|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1189 主题	4 听众	2934 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing5 H& W/ O1 x8 Y* p\\" S
: u8 }# }5 L# s8 y
from sklearn.model_selection import train_test_split
4 L, V- g, j0 S6 y5 X+ g
, ]8 [& b: L1 c: `( R5 U0 T, T A3 K
from sklearn.preprocessing import StandardScaler$ X3 y, i7 L. k
! C- K& J& i; P\\" D( n
from sklearn.linear_model import LinearRegression7 q0 Z! v4 m A' E
* c% @$ P4 E3 u5 _: V- L7 r- F# e1 i- d
from sklearn.metrics import mean_squared_error5 K% i. x/ ?. Y. ^8 a: ^4 c$ c
6 i4 @! A0 F: g. m+ p% {
' Q) _* g- ^: _3 c
) h0 g/ X% v2 p- N: v6 _* J
# 加载数据集( J7 {5 n7 d& [& Z
& j: o8 X\\" B9 u9 h
housing = fetch_california_housing()# t\\" i! h% J! b, v. L3 X
7 _- D: w3 g' L h- O% X
X, y = housing.data, housing.target
3 E& |/ w0 u2 b' b5 ?# z
! H; Z7 R, ~! q% V; ]8 U [
1 ?% w% k5 O: B) T7 h
# I8 G. J( C7 x# T
# 划分训练集和测试集7 V9 j9 l) K0 b2 S
' H, F/ Y: U\\" I, z; L/ ]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)/ n. e\\" `) P* A0 O' m8 F. z5 p
0 ~$ z# O8 H, L, E6 q# a* A. \
$ z3 N) ?\\" e, d1 h3 A0 n% S7 M
1 K* V' {8 z/ ]* M# ]
# 数据预处理：标准化) }* I4 Z9 |, X5 |; P
q \6 B9 Q6 r4 B0 ?. i N* q9 w6 X
scaler = StandardScaler()
* H7 t0 Y( W$ \: w9 \\\" P
& D2 L g) X( d) O' |- P
X_train_scaled = scaler.fit_transform(X_train)
( a# ~$ `/ C0 f% R6 {8 |
) b+ x+ d2 D: L5 T7 D\\" n2 l4 u
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing5 H& W/ O1 x8 Y* p\\" S

: u8 }# }5 L# s8 y

from sklearn.model_selection import train_test_split 
4 L, V- g, j0 S6 y5 X+ g
 
, ]8 [& b: L1 c: `( R5 U0 T, T  A3 K
from sklearn.preprocessing import StandardScaler$ X3 y, i7 L. k

! C- K& J& i; P\\" D( n
from sklearn.linear_model import LinearRegression7 q0 Z! v4 m  A' E

* c% @$ P4 E3 u5 _: V- L7 r- F# e1 i- d
from sklearn.metrics import mean_squared_error5 K% i. x/ ?. Y. ^8 a: ^4 c$ c

6 i4 @! A0 F: g. m+ p% {

' Q) _* g- ^: _3 c

) h0 g/ X% v2 p- N: v6 _* J

# 加载数据集( J7 {5 n7 d& [& Z

& j: o8 X\\" B9 u9 h
housing = fetch_california_housing()# t\\" i! h% J! b, v. L3 X

7 _- D: w3 g' L  h- O% X

X, y = housing.data, housing.target 
3 E& |/ w0 u2 b' b5 ?# z
! H; Z7 R, ~! q% V; ]8 U  [

1 ?% w% k5 O: B) T7 h

# I8 G. J( C7 x# T
# 划分训练集和测试集7 V9 j9 l) K0 b2 S

' H, F/ Y: U\\" I, z; L/ ]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)/ n. e\\" `) P* A0 O' m8 F. z5 p

0 ~$ z# O8 H, L, E6 q# a* A. \

$ z3 N) ?\\" e, d1 h3 A0 n% S7 M
1 K* V' {8 z/ ]* M# ]

# 数据预处理：标准化) }* I4 Z9 |, X5 |; P

q  \6 B9 Q6 r4 B0 ?. i  N* q9 w6 X

scaler = StandardScaler() 
* H7 t0 Y( W$ \: w9 \\\" P
 
& D2 L  g) X( d) O' |- P
X_train_scaled = scaler.fit_transform(X_train) 
( a# ~$ `/ C0 f% R6 {8 |
 
) b+ x+ d2 D: L5 T7 D\\" n2 l4 u
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型/ E! |0 g4 E1 s/ }+ f
model = LinearRegression()5 K' J: W$ r9 k8 U) e
- s: [5 S& p8 O( H1 n
# 训练模型
z6 U3 l1 ^8 n9 b! S
model.fit(X_train_scaled, y_train)' S( F& Y% i0 D# ^. W$ u4 M
/ N q8 B% l/ e8 Y7 ~- C
# 预测测试集% ]8 v2 J- D% _/ R: N# S/ q
y_pred = model.predict(X_test_scaled)# n; D- _3 V% w4 _% @4 Y
0 Q* ~$ l1 N- p! X% b\" \
# 评估模型
! ]3 v# V7 q3 u
mse = mean_squared_error(y_test, y_pred)
- v1 [( m- d4 }3 U5 D r
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
6 h! w# l$ s' `# ?9 G. U' @- e( k
; w8 {+ H& ^+ h- F0 a! T
# 特征选择
+ @+ l8 w+ b3 C* o# I
selector = SelectKBest(score_func=f_regression, k=5)$ l# ~* c% K3 H$ [% l/ z) j1 n* P7 @* }
X_train_selected = selector.fit_transform(X_train_scaled, y_train)( I6 w1 P y9 r
X_test_selected = selector.transform(X_test_scaled)
) b9 g\" |. c# U4 L. z% d* @0 s
' j( |/ t2 \% E: Q& k+ a
# 使用选择的特征重新训练模型1 w2 v: f! v5 E( D9 [
model.fit(X_train_selected, y_train): |7 s9 r\" ~0 w5 N* y$ ?( v
y_pred_selected = model.predict(X_test_selected)
* Q [% U2 p( e; s! X\" A {
$ {# d5 @* r* I F( a! Z
# 评估 E& u, q: N) a( K# A
mse_selected = mean_squared_error(y_test, y_pred_selected)
2 O9 ]3 d+ X+ a' _3 @
print(f"Mean Squared Error with selected features: {mse_selected}")