查看: 1880|回复: 0

房价预测（线性回归）

字体大小: 正常放大

1175 主题	4 听众	2842 积分

该用户从未签到

电梯直达

1^#

发表于 2024-3-31 16:37 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

数据集：使用加利福尼亚房价数据集。
任务：构建一个模型预测加利福尼亚地区的房价。
挑战：尝试不同的预处理方法（标准化、归一化等）和特征选择技术来改进模型性能。
线性回归是一种预测数值型数据的经典统计方法，它假设目标值和特征之间存在线性关系。在房价预测任务中，我们可以使用线性回归模型来预测基于多个特征（如房屋大小、位置、年龄等）的房价。以下是使用加利福尼亚房价数据集进行房价预测的示例代码，以及如何应用不同的预处理方法和特征选择技术来改进模型性能。

加载和预处理数据
首先，我们从scikit-learn中加载加利福尼亚房价数据集，并进行基本的数据预处理。

from sklearn.datasets import fetch_california_housing
: S1 \ L! e5 h* @) z: N( k
: M\\" Y+ W4 t# a1 S* g
from sklearn.model_selection import train_test_split
( e7 ~6 s/ c. H) o; ?) g* t
9 t1 d- q\\" z8 G% s) R
from sklearn.preprocessing import StandardScaler
+ Q+ A( g8 }, w( O\\" x( i
- V' C g9 v# _& j\\" J
from sklearn.linear_model import LinearRegression9 k& j' v. @2 o/ ?1 T7 S3 ~
4 j/ o$ T' ~- x3 X% N& Y8 ] n
from sklearn.metrics import mean_squared_error, ]: F$ d9 @1 j! g E
: k% Y8 G! f, ^+ b# l5 P/ D
! f! x3 t) h, g( ]$ d- k. h
+ s; u! @( q, l
# 加载数据集
- s7 C6 u5 B5 Z# ~3 j
- d$ |. ?& K7 L- l\\" x
housing = fetch_california_housing()2 y# M$ K: R- d1 V8 ?. v; ?: d
6 ~+ S3 L4 i9 I$ c
X, y = housing.data, housing.target$ x: Z. ]) d, U1 f
9 S; |1 c: ]: F9 E5 _
/ X- D) G/ r+ W$ ^
0 k Y7 D( i7 R5 t! @0 }
# 划分训练集和测试集
/ s. g' U3 p$ j( X1 ^( J7 C& x
, b; j |$ y! I* l3 E
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
( j( B- ~& p. J& t\\" g; D
! M& B& M. `- V0 g) \6 I
) s$ G0 T7 T# T7 @+ b* c; {
: u* o2 J& z4 @5 I3 @
# 数据预处理：标准化6 @% k# V% v2 G: m6 O
, V# l( r. S+ Z+ O
scaler = StandardScaler()
d; m$ J& p: o! E; d& f& x1 q
! ^4 x0 D5 s+ e0 E# E1 |# T
X_train_scaled = scaler.fit_transform(X_train)9 _; `* Q3 b% p5 K' K\\" X9 g: K
$ c5 r5 z$ M- |/ V
X_test_scaled = scaler.transform(X_test)

from sklearn.datasets import fetch_california_housing 
: S1 \  L! e5 h* @) z: N( k
 
: M\\" Y+ W4 t# a1 S* g
from sklearn.model_selection import train_test_split 
( e7 ~6 s/ c. H) o; ?) g* t
 
9 t1 d- q\\" z8 G% s) R
from sklearn.preprocessing import StandardScaler 
+ Q+ A( g8 }, w( O\\" x( i
- V' C  g9 v# _& j\\" J

from sklearn.linear_model import LinearRegression9 k& j' v. @2 o/ ?1 T7 S3 ~

4 j/ o$ T' ~- x3 X% N& Y8 ]  n

from sklearn.metrics import mean_squared_error, ]: F$ d9 @1 j! g  E

: k% Y8 G! f, ^+ b# l5 P/ D
 ! f! x3 t) h, g( ]$ d- k. h

+ s; u! @( q, l
# 加载数据集 
- s7 C6 u5 B5 Z# ~3 j
- d$ |. ?& K7 L- l\\" x

housing = fetch_california_housing()2 y# M$ K: R- d1 V8 ?. v; ?: d

6 ~+ S3 L4 i9 I$ c
X, y = housing.data, housing.target$ x: Z. ]) d, U1 f

9 S; |1 c: ]: F9 E5 _

/ X- D) G/ r+ W$ ^
0 k  Y7 D( i7 R5 t! @0 }

# 划分训练集和测试集 
/ s. g' U3 p$ j( X1 ^( J7 C& x
, b; j  |$ y! I* l3 E

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) 
( j( B- ~& p. J& t\\" g; D
! M& B& M. `- V0 g) \6 I

) s$ G0 T7 T# T7 @+ b* c; {

: u* o2 J& z4 @5 I3 @

# 数据预处理：标准化6 @% k# V% v2 G: m6 O

, V# l( r. S+ Z+ O

scaler = StandardScaler() 
  d; m$ J& p: o! E; d& f& x1 q
! ^4 x0 D5 s+ e0 E# E1 |# T

X_train_scaled = scaler.fit_transform(X_train)9 _; `* Q3 b% p5 K' K\\" X9 g: K

$ c5 r5 z$ M- |/ V

X_test_scaled = scaler.transform(X_test)

构建和训练线性回归模型

# 创建线性回归模型; T! v7 J: Y4 K5 l3 x b- k
model = LinearRegression()# {' L+ m9 S$ m5 o( [% a6 p- P
8 J6 T. F* I) t. T- h
# 训练模型
% x* [\" j, Y\" p/ F* L/ y
model.fit(X_train_scaled, y_train)) h1 H3 A+ m& S: H0 C( h
1 p4 l* A! X7 d! c% W
# 预测测试集
. m9 Y) u- V2 x$ F+ j: B
y_pred = model.predict(X_test_scaled)
9 k6 F7 ]. _9 V6 H; J+ y( {8 u: J
+ P9 j4 K2 J. b
# 评估模型- x. R. g( p+ X' }/ ?. V\" @- m. {
mse = mean_squared_error(y_test, y_pred)- t/ K2 F b. c+ |# F4 d
print(f"Mean Squared Error: {mse}")

复制代码

挑战：尝试不同的预处理方法和特征选择
预处理方法：除了标准化，你还可以尝试归一化（MinMaxScaler）、对数转换等方法，看看它们如何影响模型的性能。
特征选择：可以使用不同的特征选择方法（如SelectKBest, SelectFromModel）来选择最有影响力的特征，这有助于模型专注于最重要的信息，提高预测准确性。

from sklearn.feature_selection import SelectKBest, f_regression
0 X6 g. [* T$ V
) q+ {4 ~9 x0 y, d
# 特征选择
& Q6 i5 V# E7 c- j
selector = SelectKBest(score_func=f_regression, k=5)! g `$ A* y1 \( Z6 a3 a6 d
X_train_selected = selector.fit_transform(X_train_scaled, y_train)\" E$ R: h% ^* S, u
X_test_selected = selector.transform(X_test_scaled)# j8 o, j6 D0 Z* ~\" w
1 ~; |4 K! j' V
# 使用选择的特征重新训练模型
0 ? W5 O1 z0 r b
model.fit(X_train_selected, y_train)
2 J9 B- Q: I3 Q1 M! y' W\" l
y_pred_selected = model.predict(X_test_selected)8 z* H\" ]; @# R2 F5 y
. L& g5 t' e9 C( T' [) o
# 评估
; x) C# G' `$ \0 E; E( K$ i- m
mse_selected = mean_squared_error(y_test, y_pred_selected)& F. O7 K$ l5 w8 a
print(f"Mean Squared Error with selected features: {mse_selected}")