查看: 2729|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1186 主题	4 听众	2925 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing8 B& J\\" ]! t) A$ n+ D+ m7 m
0 w\\" G: P\\" p( O9 s
from sklearn.model_selection import train_test_split. F7 ~ O4 k3 W* @
0 ~( `& v# Z0 R. c4 n5 | W* R
from sklearn.preprocessing import StandardScaler
# P7 |, O- }. E& p
5 D) ~7 Y; f) u9 t8 y& I
from sklearn.linear_model import LinearRegression5 P- X6 K: T' M1 e0 ~
2 n0 b5 C8 t7 M7 ^6 f( i8 {: T4 \
from sklearn.metrics import mean_squared_error
2 Z! C. s\\" L$ l& V& M
# k! K6 d. y x/ l& y$ ?
6 ]& W/ d& `+ i
8 k0 u4 s0 L% j3 Y/ a' T
# 加载数据集
0 Q* P- v3 H: n& V7 j! f
2 ~) i4 m. p# _2 k; X$ ~
housing = fetch_california_housing(), Y' y; B$ ?4 c' }3 M
8 D* i: B8 T- W) ?+ _7 f! y
X, y = housing.data, housing.target
X g; U; y+ {7 V2 q8 G: _% [( ]
- L. n2 k' E j& X7 A6 d
* ]$ t0 w! ~0 C5 V
; D9 o$ [! E5 Q5 `
# 划分训练集和测试集
& ]& ~4 A, ?, l# M d
6 z1 } N) K5 ]% O\\" t' k. K
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# F& U& d; ]1 F! ]% J
1 v0 F1 |5 i( V [\\" t
& U/ c2 H\\" a2 L4 k* E# h# K
; k3 W# c# I, ~7 k# W
# 数据预处理：标准化
: q- ?& u: q9 ]
scaler = StandardScaler()( [9 J7 S n! x- j
$ E1 l( c+ K! V( E9 q5 Z
X_train_scaled = scaler.fit_transform(X_train)
\\" R; q8 j5 q% {: g1 m2 O: N* ?
6 Q9 [% e8 o3 P\\" d+ r$ X* c2 G7 c
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing8 B& J\\" ]! t) A$ n+ D+ m7 m

0 w\\" G: P\\" p( O9 s

from sklearn.model_selection import train_test_split. F7 ~  O4 k3 W* @

0 ~( `& v# Z0 R. c4 n5 |  W* R
from sklearn.preprocessing import StandardScaler 
# P7 |, O- }. E& p
 
5 D) ~7 Y; f) u9 t8 y& I
from sklearn.linear_model import LinearRegression5 P- X6 K: T' M1 e0 ~

2 n0 b5 C8 t7 M7 ^6 f( i8 {: T4 \

from sklearn.metrics import mean_squared_error 
2 Z! C. s\\" L$ l& V& M
 
# k! K6 d. y  x/ l& y$ ?
 
6 ]& W/ d& `+ i
 
8 k0 u4 s0 L% j3 Y/ a' T
# 加载数据集 
0 Q* P- v3 H: n& V7 j! f
 
2 ~) i4 m. p# _2 k; X$ ~
housing = fetch_california_housing(), Y' y; B$ ?4 c' }3 M

8 D* i: B8 T- W) ?+ _7 f! y

X, y = housing.data, housing.target 
  X  g; U; y+ {7 V2 q8 G: _% [( ]
 
- L. n2 k' E  j& X7 A6 d
 
* ]$ t0 w! ~0 C5 V
; D9 o$ [! E5 Q5 `

# 划分训练集和测试集 
& ]& ~4 A, ?, l# M  d
6 z1 }  N) K5 ]% O\\" t' k. K

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# F& U& d; ]1 F! ]% J

1 v0 F1 |5 i( V  [\\" t
 
& U/ c2 H\\" a2 L4 k* E# h# K
; k3 W# c# I, ~7 k# W

# 数据预处理：标准化 
: q- ?& u: q9 ]
 
: e7 ]9 V\\" ?\\" p1 _' H: K9 n1 l\\" [/ F
scaler = StandardScaler()( [9 J7 S  n! x- j

$ E1 l( c+ K! V( E9 q5 Z
X_train_scaled = scaler.fit_transform(X_train) 
\\" R; q8 j5 q% {: g1 m2 O: N* ?
 
6 Q9 [% e8 o3 P\\" d+ r$ X* c2 G7 c
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型6 }2 k% U4 i; f' [+ m
model = LinearRegression(); ` [& L; k* W$ j! _$ ]$ K
6 A! G- z2 J7 \, D; Y' J; i
# 训练模型2 g: ^7 Z3 A* r0 G, @9 |5 ]0 M
model.fit(X_train_scaled, y_train): k, Z0 ~' o; ?! ~
1 a+ {$ u/ C |$ [9 r: M9 j
# 预测测试集
& v v& Q3 h( b* x
y_pred = model.predict(X_test_scaled)/ L+ | u- ?! w: `
9 Z! ^1 o( Q9 k
# 评估模型
5 V\" y7 g, h9 |, M& g
mse = mean_squared_error(y_test, y_pred)
4 H5 s+ Q! _9 o8 u
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
+ c\" K\" O# {, D! x' o& O0 ]
4 a S2 F7 l& D0 h9 W
# 特征选择4 ]9 C- N4 S) u: Z
selector = SelectKBest(score_func=f_regression, k=5)
& c7 }) Q. @9 {9 m1 @\" X
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
, Y8 K5 q7 H) _& T+ C M4 Y\" J
X_test_selected = selector.transform(X_test_scaled)4 U4 }: x# k$ s& h2 D9 b
& u% ]: Z' p; C3 t7 a1 B
# 使用选择的特征重新训练模型
( Z3 g+ O6 [2 \% q/ U
model.fit(X_train_selected, y_train)9 \( |% P( D6 a# q
y_pred_selected = model.predict(X_test_selected)/ j2 J+ ~ A/ m& l, G6 c. r( }) K9 T
% Z% ]6 x- U! f\" F, M
# 评估- a h6 \\" \+ q; }
mse_selected = mean_squared_error(y_test, y_pred_selected)5 @5 N( G1 Z; R
print(f"Mean Squared Error with selected features: {mse_selected}")