查看: 2715|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1186 主题	4 听众	2923 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing- E0 K4 g. Q E: y& }\\" d9 D
& }\\" X2 g; k# ]: z% n _$ N- o5 H
from sklearn.model_selection import train_test_split5 q1 ]2 U _6 [) g0 b
; p# _; i: G# K, Y: f7 A
from sklearn.preprocessing import StandardScaler: ]7 [+ p: l: ]7 u: A
6 ]) k) b& N4 Y( v7 h
from sklearn.linear_model import LinearRegression& ?$ A, S1 ~\\" d$ R0 I5 C\\" X8 |
+ Z- e3 h\\" r$ m& e8 m/ F
from sklearn.metrics import mean_squared_error
, r' j. a; R9 s3 e
* O& g, n3 p6 ~% `! }6 L) Q. j
2 ]\\" a! k' I8 E\\" q
' d0 z% r$ |2 r! }2 k2 s6 V4 X
# 加载数据集
) k+ _* [, C, I1 M) e
$ t9 ?: u h9 |& ]
housing = fetch_california_housing()
2 I+ D8 |, \6 A\\" a+ V
! K5 L- M, J* J
X, y = housing.data, housing.target
( |6 l& I0 F$ j. U
; E, r$ K9 l# L! q; c% a# }( O
5 x. ]- d2 E( U* I S) o
) R: v/ b9 R) K( w: e
# 划分训练集和测试集+ ?+ B5 t9 k( _9 f9 O\\" J( u2 }, a6 S' O
, j4 |: `: J3 Y; z' x
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)5 d( p/ T/ D9 X T, o
# B* T9 }9 u8 \; B J
\\" R5 v+ ~6 z9 u& n+ [
5 x# H M% q0 E' M) e, D+ r; d
# 数据预处理：标准化
% C5 d3 B2 j4 J, v* G
. \* N( F) E* \) _\\" a
scaler = StandardScaler()
, q- @+ ?, p6 |+ U, T% z4 V\\" n
* g* f) g2 l, y1 O; m! R
X_train_scaled = scaler.fit_transform(X_train)
) s- D$ u+ E2 l
* e) l$ N, B. B( r
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing- E0 K4 g. Q  E: y& }\\" d9 D

& }\\" X2 g; k# ]: z% n  _$ N- o5 H
from sklearn.model_selection import train_test_split5 q1 ]2 U  _6 [) g0 b

; p# _; i: G# K, Y: f7 A
from sklearn.preprocessing import StandardScaler: ]7 [+ p: l: ]7 u: A

6 ]) k) b& N4 Y( v7 h
from sklearn.linear_model import LinearRegression& ?$ A, S1 ~\\" d$ R0 I5 C\\" X8 |

+ Z- e3 h\\" r$ m& e8 m/ F

from sklearn.metrics import mean_squared_error 
, r' j. a; R9 s3 e
* O& g, n3 p6 ~% `! }6 L) Q. j

2 ]\\" a! k' I8 E\\" q

' d0 z% r$ |2 r! }2 k2 s6 V4 X
# 加载数据集 
) k+ _* [, C, I1 M) e
 
$ t9 ?: u  h9 |& ]
housing = fetch_california_housing() 
2 I+ D8 |, \6 A\\" a+ V
! K5 L- M, J* J

X, y = housing.data, housing.target 
( |6 l& I0 F$ j. U
 
; E, r$ K9 l# L! q; c% a# }( O
 5 x. ]- d2 E( U* I  S) o

) R: v/ b9 R) K( w: e

# 划分训练集和测试集+ ?+ B5 t9 k( _9 f9 O\\" J( u2 }, a6 S' O

, j4 |: `: J3 Y; z' x

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)5 d( p/ T/ D9 X  T, o

# B* T9 }9 u8 \; B  J
 
\\" R5 v+ ~6 z9 u& n+ [
 
5 x# H  M% q0 E' M) e, D+ r; d
# 数据预处理：标准化 
% C5 d3 B2 j4 J, v* G
. \* N( F) E* \) _\\" a

scaler = StandardScaler() 
, q- @+ ?, p6 |+ U, T% z4 V\\" n
 
* g* f) g2 l, y1 O; m! R
X_train_scaled = scaler.fit_transform(X_train) 
) s- D$ u+ E2 l
* e) l$ N, B. B( r

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
) S! j$ g# I- J1 Y' q+ q
model = LinearRegression()& M- x! o* W% G8 `8 o9 l6 {
8 f* Y\" u& I; V% {9 o1 J2 N
# 训练模型3 B9 b. d: T- |1 k( P( a
model.fit(X_train_scaled, y_train)
0 E9 i& E) \# T+ j7 L b& @0 Y
/ {; k) M$ ^9 q+ u/ p\" H* y: B$ e
# 预测测试集
1 C9 Z9 Z: F2 F: P4 D\" H
y_pred = model.predict(X_test_scaled)
0 F8 n3 v8 }. W( ~
' V1 l/ h# X5 g3 H9 g3 B& |6 F
# 评估模型
; i! D9 z7 q/ F5 I3 X: V! `
mse = mean_squared_error(y_test, y_pred)
0 t+ y' n b5 i1 P$ A+ b
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression' a/ w3 E\" _7 ~1 x, _! y( {
$ ~; {+ ~5 Z G5 X* ~0 t6 @
# 特征选择
* f: ], m% z7 a7 k4 j0 z5 D* u
selector = SelectKBest(score_func=f_regression, k=5)
+ A. M; h0 s3 ^. R, y* e5 I* a
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
: o0 c3 l( l3 z1 _5 \- `
X_test_selected = selector.transform(X_test_scaled)1 a3 | t6 Q8 n( {* w8 I- K
9 L6 O# C# \- i/ S
# 使用选择的特征重新训练模型
+ {- S) N0 {4 ?; N$ a
model.fit(X_train_selected, y_train)& L) s) g+ B( h5 q: h
y_pred_selected = model.predict(X_test_selected)3 ~$ w, o5 C! U$ }& ~1 J
; ], c\" J1 K+ J& o- w
# 评估
5 p' e! U7 `, Z( [
mse_selected = mean_squared_error(y_test, y_pred_selected)+ E: W' g S( \4 d$ C& y2 a
print(f"Mean Squared Error with selected features: {mse_selected}")