查看: 2698|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1186 主题	4 听众	2922 积分

该用户从未签到

发表于 2024-3-31 16:37 |显示全部楼层

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing% C: [! P2 u0 o0 I: U) ~\\" S4 A
3 T2 ^; w5 H4 d8 O6 ^
from sklearn.model_selection import train_test_split, k0 M' z3 {! Q\\" ] c
/ G5 G5 ^6 `7 Q9 J+ {/ ~ \
from sklearn.preprocessing import StandardScaler4 w\\" q: I. E2 D\\" E0 L5 Z
3 J; x% c\\" N- ~( c3 @ U8 z
from sklearn.linear_model import LinearRegression
! T6 ]; F9 h+ l% n0 G
- E6 c. I8 ]; Y! H/ ^3 h
from sklearn.metrics import mean_squared_error9 `6 c- ~9 _( O8 f/ |
4 x: ?2 d# D) l# s
* W$ M4 r' ?: u3 e% n3 R4 K0 h
- o7 K# K8 b7 A
# 加载数据集
% a( j/ {/ a3 r8 B: A8 n6 q: [/ P& e
1 b* h+ l4 L. | B6 X\\" \& Z& s
housing = fetch_california_housing()+ ?2 p\\" g5 S& T
5 m$ F! E: `: S8 e. ~9 u5 i! b* c$ B
X, y = housing.data, housing.target' w; i) F. a; \5 q6 T. [+ I+ X p
% c0 k. N; r6 p2 Y6 a8 p. g
# i\\" f# _# j- R( {7 ?% N
' |9 T2 z- N# U8 B/ j
# 划分训练集和测试集
& ~+ F; q% ~0 \# j
& T& M* B/ v$ F# B
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)* G$ v! u9 P, V\\" a
9 J/ e\\" f- ~( |/ Z
/ z6 T/ ]& L, R+ f8 I7 l* p8 y4 F
' \! y2 y- }4 {8 v\\" C0 ~3 G
# 数据预处理：标准化& U/ Z( n W G8 L
* J6 c6 D% x: |1 K2 ~7 }$ z
scaler = StandardScaler()9 ]. d; b1 L* g0 y/ Y% m
1 k: h( t6 V+ v\\" T9 G
X_train_scaled = scaler.fit_transform(X_train)5 ~( W9 Q0 }' O) a }+ C
\\" R# D$ w2 f$ v. w2 c S
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing% C: [! P2 u0 o0 I: U) ~\\" S4 A

3 T2 ^; w5 H4 d8 O6 ^
from sklearn.model_selection import train_test_split, k0 M' z3 {! Q\\" ]  c

/ G5 G5 ^6 `7 Q9 J+ {/ ~  \

from sklearn.preprocessing import StandardScaler4 w\\" q: I. E2 D\\" E0 L5 Z

3 J; x% c\\" N- ~( c3 @  U8 z
from sklearn.linear_model import LinearRegression 
! T6 ]; F9 h+ l% n0 G
 
- E6 c. I8 ]; Y! H/ ^3 h
from sklearn.metrics import mean_squared_error9 `6 c- ~9 _( O8 f/ |

4 x: ?2 d# D) l# s

* W$ M4 r' ?: u3 e% n3 R4 K0 h

- o7 K# K8 b7 A
# 加载数据集 
% a( j/ {/ a3 r8 B: A8 n6 q: [/ P& e
 
1 b* h+ l4 L. |  B6 X\\" \& Z& s
housing = fetch_california_housing()+ ?2 p\\" g5 S& T

5 m$ F! E: `: S8 e. ~9 u5 i! b* c$ B

X, y = housing.data, housing.target' w; i) F. a; \5 q6 T. [+ I+ X  p

% c0 k. N; r6 p2 Y6 a8 p. g

# i\\" f# _# j- R( {7 ?% N

' |9 T2 z- N# U8 B/ j

# 划分训练集和测试集 
& ~+ F; q% ~0 \# j
 
& T& M* B/ v$ F# B
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)* G$ v! u9 P, V\\" a

9 J/ e\\" f- ~( |/ Z

/ z6 T/ ]& L, R+ f8 I7 l* p8 y4 F

' \! y2 y- }4 {8 v\\" C0 ~3 G

# 数据预处理：标准化& U/ Z( n  W  G8 L

* J6 c6 D% x: |1 K2 ~7 }$ z

scaler = StandardScaler()9 ]. d; b1 L* g0 y/ Y% m

1 k: h( t6 V+ v\\" T9 G
X_train_scaled = scaler.fit_transform(X_train)5 ~( W9 Q0 }' O) a  }+ C

\\" R# D$ w2 f$ v. w2 c  S
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
, ` g0 M8 I, {! ^) f8 S/ k
model = LinearRegression()0 h9 Z5 ]\" B# C9 O
+ U5 H\" m9 F9 ~9 y) r0 ^
# 训练模型# `9 D2 S5 \ B* M! c4 b$ g
model.fit(X_train_scaled, y_train)9 I# U$ S) P, |# i1 x
$ w: G& F3 S8 I! _
# 预测测试集! _% ]) v* L9 Z1 H6 s
y_pred = model.predict(X_test_scaled)
1 v0 Z) L, x9 p( c! d
8 j7 {: q, A2 Z7 y1 j$ D
# 评估模型3 L) p( z8 e4 ?# F
mse = mean_squared_error(y_test, y_pred)/ S- k- _. a% V
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression' r' q2 p; p! x/ {- k; q
: H+ b$ T* G! ?+ X( z3 Q
# 特征选择0 v\" N\" s1 S\" a: @/ {* G
selector = SelectKBest(score_func=f_regression, k=5)7 o2 D! H2 T' p* D
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
6 J* Y. F( J7 B\" K; g, E, B5 A
X_test_selected = selector.transform(X_test_scaled)$ P0 d2 L: {0 @ I
Y. b5 \, s, b: r9 Q! P; w
# 使用选择的特征重新训练模型' \5 G3 o3 o2 o5 v
model.fit(X_train_selected, y_train); r7 H0 k1 D) F4 ?$ Y7 d4 {. L# r
y_pred_selected = model.predict(X_test_selected)* D, Z% h# K* F- G/ e8 a4 {$ \
8 r/ Z/ O) X$ P7 B9 O: C6 G
# 评估. O, C! H+ C. [2 h- S
mse_selected = mean_squared_error(y_test, y_pred_selected)
1 }8 W! V/ d6 O4 B+ G& F
print(f"Mean Squared Error with selected features: {mse_selected}")