查看: 2924|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1198 主题	4 听众	2978 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
' t b4 ]6 A3 s\\" i' e$ X
' v/ p e& @' \- f V- H+ N& o9 {9 |
from sklearn.model_selection import train_test_split0 f/ S1 `1 T& f
$ C1 s; S$ F2 `7 J
from sklearn.preprocessing import StandardScaler
* E: w' Q5 E5 F2 h, X$ @
. l7 H\\" g0 ]! I& W6 a( l8 V; K
from sklearn.linear_model import LinearRegression
% y1 f0 K2 L; N4 ^
- V4 s# K# z5 t, Q* |
from sklearn.metrics import mean_squared_error/ f8 w8 B& f4 c5 l+ h2 r( F# Q( w
# q% J( ` A( w
; L2 O( n: b\\" [
6 c, C; R* _\\" T3 x2 B
# 加载数据集
3 [- K. j- m7 U. |7 Z1 t
) o\\" V* {8 ~# `
housing = fetch_california_housing()
4 k( x, U$ z0 w/ G2 s+ D
& T8 G4 l4 Q) w$ r% o$ ~+ q& w3 }* S
X, y = housing.data, housing.target
$ x# C! M/ o, O1 h
, ?' P+ t9 j' G7 g3 C3 Z4 f
6 R6 E4 K' N# g( N# n* \% [
5 p1 v# ?6 ^ j\\" d3 z
# 划分训练集和测试集
4 r0 m: U/ S' T7 [3 m
# _! X/ W2 }& o; k( s
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
2 d a9 z/ O, L$ ^
3 q0 T2 v0 L) K
$ c7 y\\" o+ B: l$ H
; D6 c8 a% L2 e2 U9 \7 ]- n
# 数据预处理：标准化
( c) M) s9 i$ `
5 |, x\\" L8 [* K3 x4 k
scaler = StandardScaler()
! Z- X, X! f! O8 a1 j0 B* h: U0 f
$ s$ m% P% H: d5 `9 x8 @
X_train_scaled = scaler.fit_transform(X_train)
( A( s. i4 w! t* Y* P+ ]5 ^' a
* c4 s. K3 H+ M- D+ y
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
' t  b4 ]6 A3 s\\" i' e$ X
' v/ p  e& @' \- f  V- H+ N& o9 {9 |

from sklearn.model_selection import train_test_split0 f/ S1 `1 T& f

$ C1 s; S$ F2 `7 J

from sklearn.preprocessing import StandardScaler 
* E: w' Q5 E5 F2 h, X$ @
. l7 H\\" g0 ]! I& W6 a( l8 V; K

from sklearn.linear_model import LinearRegression 
% y1 f0 K2 L; N4 ^
- V4 s# K# z5 t, Q* |

from sklearn.metrics import mean_squared_error/ f8 w8 B& f4 c5 l+ h2 r( F# Q( w

# q% J( `  A( w

; L2 O( n: b\\" [

6 c, C; R* _\\" T3 x2 B

# 加载数据集 
3 [- K. j- m7 U. |7 Z1 t
) o\\" V* {8 ~# `

housing = fetch_california_housing() 
4 k( x, U$ z0 w/ G2 s+ D
& T8 G4 l4 Q) w$ r% o$ ~+ q& w3 }* S

X, y = housing.data, housing.target 
$ x# C! M/ o, O1 h
, ?' P+ t9 j' G7 g3 C3 Z4 f

6 R6 E4 K' N# g( N# n* \% [
 
5 p1 v# ?6 ^  j\\" d3 z
# 划分训练集和测试集 
4 r0 m: U/ S' T7 [3 m
# _! X/ W2 }& o; k( s

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
2 d  a9 z/ O, L$ ^
3 q0 T2 v0 L) K

$ c7 y\\" o+ B: l$ H

; D6 c8 a% L2 e2 U9 \7 ]- n
# 数据预处理：标准化 
( c) M) s9 i$ `
5 |, x\\" L8 [* K3 x4 k

scaler = StandardScaler() 
! Z- X, X! f! O8 a1 j0 B* h: U0 f
 
$ s$ m% P% H: d5 `9 x8 @
X_train_scaled = scaler.fit_transform(X_train) 
( A( s. i4 w! t* Y* P+ ]5 ^' a
 
* c4 s. K3 H+ M- D+ y
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型( u* j: |1 p8 y
model = LinearRegression()
: n8 b1 ^# ]! |# Z; y3 m
3 ^/ d% R7 L }9 J3 [
# 训练模型/ B, A9 r$ z* ?
model.fit(X_train_scaled, y_train)
* q# a* k4 a2 H1 G
1 t$ Y# m; o9 J g( Z
# 预测测试集% j( R# h) h1 l3 y( z$ a6 I
y_pred = model.predict(X_test_scaled)! m7 f' v+ I- [9 t a0 y
4 R5 r p: r- G+ d0 \$ L
# 评估模型
+ q# f4 G. y\" v7 L7 z( k
mse = mean_squared_error(y_test, y_pred)8 N' |* z) p. S\" r
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression! R% T4 E- L0 N k\" h: ]* r) B
4 S ^: A5 q! L1 N6 H# x
# 特征选择
) n5 K$ [0 D\" x
selector = SelectKBest(score_func=f_regression, k=5)
' s. [; R% d. a4 d
X_train_selected = selector.fit_transform(X_train_scaled, y_train)( L3 P: j5 v r\" _
X_test_selected = selector.transform(X_test_scaled)
K' C! |3 S! C: J7 p
$ @/ R% y, N' a- k
# 使用选择的特征重新训练模型
; o6 u4 X, O! ?% Y* `: m
model.fit(X_train_selected, y_train). F ]: q2 A% _. a2 n+ _5 C
y_pred_selected = model.predict(X_test_selected)/ ^+ L! ~9 [3 Y0 P; \5 e z* k
$ V' ^3 I$ t: Q3 X, S; p$ R
# 评估- l9 Y k4 M4 A
mse_selected = mean_squared_error(y_test, y_pred_selected)
L8 g9 M9 V' Z- u\" g6 m
print(f"Mean Squared Error with selected features: {mse_selected}")