查看: 2713|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1186 主题	4 听众	2923 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing$ G\\" L' d) g2 |& I: q
+ w. Y4 _) Z( s
from sklearn.model_selection import train_test_split
4 l0 \: ~* G6 t& D8 I+ q8 f
) H% h$ H\\" y5 W/ C
from sklearn.preprocessing import StandardScaler
5 m. V4 k& e+ Q. Q
) w) _8 O ^+ C
from sklearn.linear_model import LinearRegression2 q3 L. W/ }9 K9 R3 R
8 Y7 p; J* y6 A7 X3 R' Z a
from sklearn.metrics import mean_squared_error
$ |- F: S' h2 {4 l; f
1 K, |- M) o* t! G1 h3 x
\\" X2 y4 E\\" G7 J( q. @2 v' Z' a
1 V# G4 N/ D6 `# d4 h) c) ?& K
# 加载数据集9 b' I( O5 y/ `6 Y; f9 `2 D+ l
3 G% L+ {7 b2 A0 b+ q! b% e8 r
housing = fetch_california_housing()
, {! ]/ G1 Z9 t
0 m% u. T8 }: `: Q' `5 H
X, y = housing.data, housing.target
- v8 }% ^& D; c\\" @4 t
* H2 W: E1 A# {( O. i+ I
# a: H9 x7 N* u\\" J
& d; V. Y: i, P- C' T\\" B L
# 划分训练集和测试集. l9 I4 J! U/ Z' ]2 t. E4 w% {
+ E# P& B! e' K6 d
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)3 N6 F! w6 B& ^# u
5 h6 U4 C' P! F, A+ u0 X
/ m, s. _- c1 w, k, v2 V0 T% v
% g1 Y4 r$ p: ~4 Z2 p\\" a+ R6 P, Z
# 数据预处理：标准化! X) {+ V& C# _, m
7 k1 l4 ?0 R V1 L Y' H
scaler = StandardScaler()
' ^( t. U' [8 T! y/ o9 A9 |
) t8 } D/ p; E' ^
X_train_scaled = scaler.fit_transform(X_train)! H- g; Y$ S, u4 f, E- c. M- z
Q$ B- \8 L3 l2 j% F6 j0 [
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing$ G\\" L' d) g2 |& I: q

+ w. Y4 _) Z( s
from sklearn.model_selection import train_test_split 
4 l0 \: ~* G6 t& D8 I+ q8 f
) H% h$ H\\" y5 W/ C

from sklearn.preprocessing import StandardScaler 
5 m. V4 k& e+ Q. Q
) w) _8 O  ^+ C

from sklearn.linear_model import LinearRegression2 q3 L. W/ }9 K9 R3 R

8 Y7 p; J* y6 A7 X3 R' Z  a
from sklearn.metrics import mean_squared_error 
$ |- F: S' h2 {4 l; f
1 K, |- M) o* t! G1 h3 x

\\" X2 y4 E\\" G7 J( q. @2 v' Z' a
 
1 V# G4 N/ D6 `# d4 h) c) ?& K
# 加载数据集9 b' I( O5 y/ `6 Y; f9 `2 D+ l

3 G% L+ {7 b2 A0 b+ q! b% e8 r
housing = fetch_california_housing() 
, {! ]/ G1 Z9 t
0 m% u. T8 }: `: Q' `5 H

X, y = housing.data, housing.target 
- v8 }% ^& D; c\\" @4 t
* H2 W: E1 A# {( O. i+ I

# a: H9 x7 N* u\\" J
 
& d; V. Y: i, P- C' T\\" B  L
# 划分训练集和测试集. l9 I4 J! U/ Z' ]2 t. E4 w% {

+ E# P& B! e' K6 d

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)3 N6 F! w6 B& ^# u

5 h6 U4 C' P! F, A+ u0 X

/ m, s. _- c1 w, k, v2 V0 T% v

% g1 Y4 r$ p: ~4 Z2 p\\" a+ R6 P, Z

# 数据预处理：标准化! X) {+ V& C# _, m

7 k1 l4 ?0 R  V1 L  Y' H
scaler = StandardScaler() 
' ^( t. U' [8 T! y/ o9 A9 |
 
) t8 }  D/ p; E' ^
X_train_scaled = scaler.fit_transform(X_train)! H- g; Y$ S, u4 f, E- c. M- z

Q$ B- \8 L3 l2 j% F6 j0 [
X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型 V [- [4 y( s3 m- [/ h/ J0 l
model = LinearRegression()
# R2 g# U1 g/ I3 s
. i0 H( z% w9 l* |
# 训练模型7 [8 c/ a0 \. w3 ?' _ p) ^
model.fit(X_train_scaled, y_train)* w- T& W6 Z7 n0 e5 E: A
P& s9 f, q# I9 O
# 预测测试集8 b+ L0 |$ Q* C& `
y_pred = model.predict(X_test_scaled)0 b' P6 K\" |: n$ O: C8 z
5 m$ ]1 p$ K. D3 c0 }
# 评估模型
h b- D: n2 B' C\" L
mse = mean_squared_error(y_test, y_pred)' a$ u* ~+ f% G/ D\" N0 | @, ?* y% k
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
: B2 |4 M4 V' W1 p* @
' A5 I% ^2 X. ^: S9 g
# 特征选择
- E; D8 l; u2 F5 @5 t* C
selector = SelectKBest(score_func=f_regression, k=5)8 Y! p0 l/ c! O0 `
X_train_selected = selector.fit_transform(X_train_scaled, y_train)
& ?$ j8 Q* O: T, J
X_test_selected = selector.transform(X_test_scaled)3 X5 A3 Z4 s+ N: V& A) X. G L
?6 Z3 r P, c, Z8 t: c% M, d
# 使用选择的特征重新训练模型
/ r) x6 r) P L; ?4 k% c6 q$ J; w
model.fit(X_train_selected, y_train)1 ^: p# V' u) j% d6 ]
y_pred_selected = model.predict(X_test_selected)# o& S: {6 v9 b+ }2 M$ q
- X/ ?8 i1 d5 U
# 评估
) B' [! P7 \% y: A) g
mse_selected = mean_squared_error(y_test, y_pred_selected)* \2 b# z/ ~9 p- W7 f
print(f"Mean Squared Error with selected features: {mse_selected}")