预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
2 G; `! {; p' ^在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。

& N3 u  B6 o, U: a4 C问题描述
我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
5 G8 \# u5 b9 O6 v5 x! A数据特征：
人均犯罪率。
占地面积超过25,000平方英尺的住宅用地比例。
每个城镇非零售业务的比例。
Charles River虚拟变量（如果管道限制河流则= 1;否则为0）。
一氧化氮浓度（每千万份）。
每栋住宅的平均房间数。
1940年以前建造的自住单位比例。
' X9 @* Q7 d" Q/ h8 s. |0 w; ?7 }到波士顿五个就业中心的加权距离。
( V! I  t4 m9 j! Y2 Q( a& e径向高速公路的可达性指数。
每10,000美元的全额物业税率。
5 ~# P3 D8 t( Q8 ^$ Q/ a城镇的学生与教师比例。
5 z0 G9 j/ b( c: d" q  V! h8 C: H1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
人口比例较低的百分比。
0 ^: u$ P- [/ ]" P% N( h) \1. 加载波士顿房价数据
library(keras)
' V1 P5 }; I2 w1 L
boston_housing <- dataset_boston_housing()

0 C$ T( I2 P$ A  V" I. Pc(train_data, train_labels) %<-% boston_housing$train
c(test_data, test_labels) %<-% boston_housing$test

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

# Test data is *not* used when calculating the mean and std.

# Normalize training data
6 k! a. Q8 F2 w0 }train_data <- scale(train_data)
% Q, C- ~& N/ Z2 d2 z* _
# Use means and standard deviations from training set to normalize test set
' C* k  A) R6 s4 lcol_means_train <- attr(train_data, "scaled:center")
* R( M- Q3 x; p, ]col_stddevs_train <- attr(train_data, "scaled:scale")
test_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)

3. 构建网络

创建模型

build_model <- function() {

% z- C/ H; u, p3 D- {. K% F. z  model <- keras_model_sequential() %>%
# P' ~9 \9 C' n$ X. O    layer_dense(units = 64, activation = "relu",
                input_shape = dim(train_data)[2]) %>%
    layer_dense(units = 64, activation = "relu") %>%
! Y/ E, r! y5 O4 U    layer_dense(units = 1)
1 T. C& u3 v5 |1 j( Z: K0 q' g1 G4 j
3 I" k2 Q( k$ R' o' D  model %>% compile(
. t: f1 i& g# z    loss = "mse",
    optimizer = optimizer_rmsprop(),
) S" Q' J% j. A7 T( z" V4 p) u    metrics = list("mean_absolute_error")
  )
* \  p, H8 y7 K% Y( `' q
  k5 M& a1 n) f$ U* G% T! s+ ]  model
6 ~# F: [2 R) {1 ]}

6 [/ k0 E! B; Gmodel <- build_model()
model %>% summary()
) P! p1 a! H& r* @; O$ P

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
# Display training progress by printing a single dot for each completed epoch.
print_dot_callback <- callback_lambda(
- t7 W- L; v3 A& V' [' }! n* ?4 }  on_epoch_end = function(epoch, logs) {
4 P, Y4 M) w/ j) C' r  Q' f$ l    if (epoch %% 80 == 0) cat("\n")
' o; H) B0 I5 k/ a3 I" W    cat(".")
! s: Y6 _9 |4 u& P9 Y8 X. N  }
4 ]; f' `5 Y4 M9 _& z, d)   
. O) G+ D! A. o" ?6 i9 b- {
3 h) A+ P. ^8 Z  `- l- Nepochs <- 500
, ]4 X/ u3 s& D2 _8 R( ]7 h
# Fit the model and store training stats
history <- model %>% fit(
  train_data,
  train_labels,
. m6 I6 V1 d  m) J) ], {6 v3 e  epochs = epochs,
& H% P7 O/ p" y# c7 s  validation_split = 0.2,
  verbose = 0,
  callbacks = list(print_dot_callback)
)

library(ggplot2)
9 a6 f* _8 I0 G, M! ]
; V9 U: v% I/ l8 O: g: Q; _0 xplot(history, metrics = "mean_absolute_error", smooth = FALSE) +
  coord_cartesian(ylim = c(0, 5))


1 H- K" M! y8 e, w. G6 D
小结
1）回归常用的损失函数是均方误差（MSE）。
2）常见的回归指标是平均绝对误差（MAE）。
; n1 R& L; Y% P" |3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。