查看: 2443|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1183 主题	4 听众	2908 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing6 S$ ?/ r( o$ ^# \4 z7 ]) n
) B; I# e9 X# S
from sklearn.model_selection import train_test_split
) |0 W7 _$ T. p' n$ a4 Y
7 I1 H) X5 v$ _0 Y0 K
from sklearn.preprocessing import StandardScaler
- K7 |2 c& l\\" G( y. {% ]
7 v) {4 {5 J. X' K0 P
from sklearn.linear_model import LinearRegression\\" y. d, l! q4 @$ X
5 }+ O$ V/ H7 S
from sklearn.metrics import mean_squared_error# x- h$ o2 i: y; m4 p7 o
6 u* w: `3 l( a l- X/ K
) ]8 y3 S2 v4 z0 ]8 ]3 H
9 i6 U; M6 n1 Y
# 加载数据集! q- o$ R. H, [* g# ?
' o7 D! ^ H* [2 m, q
housing = fetch_california_housing()
* E2 F+ y% x7 D( |$ }( q0 c7 L/ t
* D1 ^8 O: M\\" A2 L1 l6 J& w0 }! k8 h
X, y = housing.data, housing.target6 ^1 g: W% B. s/ b& d\\" F, e6 S
7 F' i7 U\\" A0 B+ @' ^) s- Q
\\" w/ c; |2 @- W
, r' B$ l5 U! i3 n$ W- R- F
# 划分训练集和测试集. x2 H9 o3 d+ @* `
' s# \6 \5 H3 D* A1 r& [
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
9 I- N& ^& J3 s* S: j/ r9 ~
1 n1 B3 }( ^, t' w& P2 S
( P! s! M( m% `4 y( q
3 [) u7 L) O+ n; H7 Z: Y: |/ x
# 数据预处理：标准化7 ~7 E8 G* p5 S1 D+ v( [# E
' G5 S. \! J2 z6 o
scaler = StandardScaler()
1 K\\" ^( a1 s- I\\" C- K8 M: [
' S1 w' @3 `9 {
X_train_scaled = scaler.fit_transform(X_train)
, O! |) {3 @, B( }: m
: ]3 t; y+ _) B' L7 w& H
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing6 S$ ?/ r( o$ ^# \4 z7 ]) n

) B; I# e9 X# S

from sklearn.model_selection import train_test_split 
) |0 W7 _$ T. p' n$ a4 Y
7 I1 H) X5 v$ _0 Y0 K

from sklearn.preprocessing import StandardScaler 
- K7 |2 c& l\\" G( y. {% ]
 
7 v) {4 {5 J. X' K0 P
from sklearn.linear_model import LinearRegression\\" y. d, l! q4 @$ X

5 }+ O$ V/ H7 S

from sklearn.metrics import mean_squared_error# x- h$ o2 i: y; m4 p7 o

6 u* w: `3 l( a  l- X/ K

) ]8 y3 S2 v4 z0 ]8 ]3 H
9 i6 U; M6 n1 Y

# 加载数据集! q- o$ R. H, [* g# ?

' o7 D! ^  H* [2 m, q
housing = fetch_california_housing() 
* E2 F+ y% x7 D( |$ }( q0 c7 L/ t
* D1 ^8 O: M\\" A2 L1 l6 J& w0 }! k8 h

X, y = housing.data, housing.target6 ^1 g: W% B. s/ b& d\\" F, e6 S

7 F' i7 U\\" A0 B+ @' ^) s- Q
 
\\" w/ c; |2 @- W
 
, r' B$ l5 U! i3 n$ W- R- F
# 划分训练集和测试集. x2 H9 o3 d+ @* `

' s# \6 \5 H3 D* A1 r& [
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
9 I- N& ^& J3 s* S: j/ r9 ~
 
1 n1 B3 }( ^, t' w& P2 S
 ( P! s! M( m% `4 y( q

3 [) u7 L) O+ n; H7 Z: Y: |/ x

# 数据预处理：标准化7 ~7 E8 G* p5 S1 D+ v( [# E

' G5 S. \! J2 z6 o

scaler = StandardScaler() 
1 K\\" ^( a1 s- I\\" C- K8 M: [
' S1 w' @3 `9 {

X_train_scaled = scaler.fit_transform(X_train) 
, O! |) {3 @, B( }: m
 
: ]3 t; y+ _) B' L7 w& H
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型
* Y7 h& Z/ e: J( K7 R' i$ c
model = LinearRegression()! L9 d' N+ @+ m9 F8 A8 j
- L- S+ N* Q/ ~- v' a
# 训练模型
Z0 y7 H4 _\" [* U3 `\" R- U# p
model.fit(X_train_scaled, y_train)4 ]5 s. M2 E+ |0 o+ W; U* ]
: g' z1 f% R! i' _) x$ i
# 预测测试集: H2 f1 E e+ t4 R) ^! L) f5 u# ?
y_pred = model.predict(X_test_scaled)$ [8 U, l# V- Q8 E% s2 S
$ D5 m' N8 z6 ?\" F\" Z$ O' y |
# 评估模型8 G7 I( ]& p1 ~4 G$ ?
mse = mean_squared_error(y_test, y_pred): |2 A5 k+ Y5 r& c$ h. ?6 Y\" K
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
2 O2 E9 _# t0 m% C& x
1 g0 L; \7 J8 z
# 特征选择# K& ]/ P. n' u# m
selector = SelectKBest(score_func=f_regression, k=5)/ _4 R8 ^* |, s
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
! L9 f5 d+ ~3 k6 A
X_test_selected = selector.transform(X_test_scaled)- C) I; g, c( X8 {) c' Y
, e- m/ l* Z+ y# z
# 使用选择的特征重新训练模型8 P. ^$ s q ^$ l4 X! z
model.fit(X_train_selected, y_train)
/ c9 }& ?' k* ]5 [- `% q
y_pred_selected = model.predict(X_test_selected)
: F# `! v T1 r, d, ^) V) c# V
& @; y: [( u0 z) O- P
# 评估
\" O' _+ q$ i/ ~* G/ A
mse_selected = mean_squared_error(y_test, y_pred_selected)
print(f"Mean Squared Error with selected features: {mse_selected}")