查看: 1626|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1171 主题	4 听众	2781 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing% Z; V+ F- A0 W* ^
7 U9 e7 ~ |9 z, }/ V- w
from sklearn.model_selection import train_test_split* d6 h! j9 Z4 K# X+ J
) e0 ]% s% T' H$ N9 L& D( ~\\" B1 O
from sklearn.preprocessing import StandardScaler
4 U, Y/ D- v$ H+ I+ a
# _% r9 ^8 W4 C\\" w+ t
from sklearn.linear_model import LinearRegression
' e/ a% m, `- d1 h! ^
, d: M d N! {7 w6 I4 q
from sklearn.metrics import mean_squared_error
7 k1 D' J* [) P) m( n
0 T3 `$ a5 d5 v: |9 V! z
0 c/ Z4 r7 Y7 n/ F1 `
\\" ~( f) H' W# Q1 t
# 加载数据集
7 I. h/ n& o) D6 {# w6 _9 {; J
0 m% O G5 O3 v$ @! c/ b
housing = fetch_california_housing(). V. m; X% g$ A: }2 d
0 k/ o8 ]8 V7 `, y5 r
X, y = housing.data, housing.target. j0 {5 J1 h5 Q( `0 C+ _/ N3 p2 d* N
+ b6 p+ U) T/ g4 h5 L
* r7 w/ d8 b4 s1 @- E+ X6 i
$ h/ G6 w: C/ K2 U3 {* z
# 划分训练集和测试集5 w0 A. A' |9 w, J/ Q
& V! |7 {4 e3 W\\" s; R/ J
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
& R& r8 A+ B+ C8 k, q; u, K
7 u0 l' j& I4 l; ?5 _0 Y' |! G
: l) l* r. p* B0 s1 N% g
& |( H/ Z q: L2 e7 J* d, |# x
# 数据预处理：标准化. Q$ t7 m6 f1 m\\" O% w
* A2 w; m8 N8 t: s' k
scaler = StandardScaler()$ k3 ]) u% U& G3 q# f) a
5 Z' b2 _\\" r4 s2 Q d% @) L
X_train_scaled = scaler.fit_transform(X_train)
. W& x0 z: o' F& [7 D5 |2 I6 w& H! o
% r; P' h: ~7 D0 A* A* e, G, y& [
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing% Z; V+ F- A0 W* ^

7 U9 e7 ~  |9 z, }/ V- w

from sklearn.model_selection import train_test_split* d6 h! j9 Z4 K# X+ J

) e0 ]% s% T' H$ N9 L& D( ~\\" B1 O
from sklearn.preprocessing import StandardScaler 
4 U, Y/ D- v$ H+ I+ a
 
# _% r9 ^8 W4 C\\" w+ t
from sklearn.linear_model import LinearRegression 
' e/ a% m, `- d1 h! ^
 
, d: M  d  N! {7 w6 I4 q
from sklearn.metrics import mean_squared_error 
7 k1 D' J* [) P) m( n
 
0 T3 `$ a5 d5 v: |9 V! z
 
0 c/ Z4 r7 Y7 n/ F1 `
 
\\" ~( f) H' W# Q1 t
# 加载数据集 
7 I. h/ n& o) D6 {# w6 _9 {; J
 
0 m% O  G5 O3 v$ @! c/ b
housing = fetch_california_housing(). V. m; X% g$ A: }2 d

0 k/ o8 ]8 V7 `, y5 r
X, y = housing.data, housing.target. j0 {5 J1 h5 Q( `0 C+ _/ N3 p2 d* N

+ b6 p+ U) T/ g4 h5 L

* r7 w/ d8 b4 s1 @- E+ X6 i
$ h/ G6 w: C/ K2 U3 {* z

# 划分训练集和测试集5 w0 A. A' |9 w, J/ Q

& V! |7 {4 e3 W\\" s; R/ J
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
& R& r8 A+ B+ C8 k, q; u, K
 
7 u0 l' j& I4 l; ?5 _0 Y' |! G
 
: l) l* r. p* B0 s1 N% g
& |( H/ Z  q: L2 e7 J* d, |# x

# 数据预处理：标准化. Q$ t7 m6 f1 m\\" O% w

* A2 w; m8 N8 t: s' k
scaler = StandardScaler()$ k3 ]) u% U& G3 q# f) a

5 Z' b2 _\\" r4 s2 Q  d% @) L
X_train_scaled = scaler.fit_transform(X_train) 
. W& x0 z: o' F& [7 D5 |2 I6 w& H! o
 
% r; P' h: ~7 D0 A* A* e, G, y& [
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型2 T5 p' @4 g, K
model = LinearRegression()0 w+ u! n0 f- c. u3 f6 L
\" i6 ^9 e8 @3 ~: U
# 训练模型: L! `6 v4 P% i
model.fit(X_train_scaled, y_train)
\" h) ~5 `' n8 U$ K: l4 j( V( w9 ^
4 ~3 u3 W8 l/ A' ]
# 预测测试集
+ M! D5 o- x3 v; E3 G
y_pred = model.predict(X_test_scaled)0 n+ S$ [8 T4 @\" ~
) ^% h. g\" U, |- m1 ]9 O1 S
# 评估模型
/ b( n7 \' E, T, O. E
mse = mean_squared_error(y_test, y_pred)3 m+ K5 ^2 k0 D
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
- ?& E+ Y- D3 M( f9 w* C! c* P
: y2 r, [ d! A4 S$ i5 S
# 特征选择\" a, a- l5 h- D7 A
selector = SelectKBest(score_func=f_regression, k=5): \$ t9 f( j- |
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
5 h1 t$ M$ R9 v p1 Y# E* ]
X_test_selected = selector.transform(X_test_scaled). J+ W. }( L6 z\" D1 e. b1 T
, y) j0 N& B2 t
# 使用选择的特征重新训练模型
2 m# T6 y* n4 X7 a- `; p
model.fit(X_train_selected, y_train). \! m4 K$ h: h4 C6 e U0 T' b
y_pred_selected = model.predict(X_test_selected)
0 w3 q0 ^$ Q$ B6 ~: G) }
8 I& F* H2 ]1 C z9 ?, Z& {* m, m
# 评估& W3 B8 C: B. T4 O' t0 ~
mse_selected = mean_squared_error(y_test, y_pred_selected). a+ X! k3 _2 ~6 \1 i, l; ^
print(f"Mean Squared Error with selected features: {mse_selected}")