预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
2 W! n# s' P! G$ _5 c在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。

问题描述
4 f' f2 b. c7 s8 g我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
6 }& @; I: y3 w# C本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
- j5 C! c7 v: {数据特征：
人均犯罪率。
占地面积超过25,000平方英尺的住宅用地比例。
$ @6 V) d/ }5 \' K6 [% n每个城镇非零售业务的比例。
  j( a# ^$ Q1 E2 sCharles River虚拟变量（如果管道限制河流则= 1;否则为0）。
$ q# `1 F. d' t4 Q5 p一氧化氮浓度（每千万份）。
每栋住宅的平均房间数。
1940年以前建造的自住单位比例。
5 T0 M" j: _- \% l, l到波士顿五个就业中心的加权距离。
径向高速公路的可达性指数。
每10,000美元的全额物业税率。
城镇的学生与教师比例。
* X) J8 e: O0 I7 q1 z/ h  r1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
人口比例较低的百分比。
1. 加载波士顿房价数据
library(keras)
4 C+ P' v1 w5 x. ^6 S
+ R- B: R2 n6 ?$ y+ V, c! zboston_housing <- dataset_boston_housing()

c(train_data, train_labels) %<-% boston_housing$train
c(test_data, test_labels) %<-% boston_housing$test
, p! N. K$ S. V& R- V: I" P; ~

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

# Test data is *not* used when calculating the mean and std.
( g7 A0 P7 s1 V) \: S
# Normalize training data
% z0 S) M' m& y* u" x# T# \$ w; Ltrain_data <- scale(train_data)

# Use means and standard deviations from training set to normalize test set
col_means_train <- attr(train_data, "scaled:center")
: K8 k1 d1 G" H+ ~2 }col_stddevs_train <- attr(train_data, "scaled:scale")
test_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)
1 k, W+ m5 C# j9 O6 S. u* r: n% Z
% Y- q& V$ O3 i; I, [: c, W/ t3. 构建网络

创建模型

build_model <- function() {

  c+ ]$ [6 r* }" O  model <- keras_model_sequential() %>%
    layer_dense(units = 64, activation = "relu",
: T" H' C# n: T: s4 S3 n                input_shape = dim(train_data)[2]) %>%
, d' n: m, l6 N9 l- @' Q- l    layer_dense(units = 64, activation = "relu") %>%
    layer_dense(units = 1)

  model %>% compile(
    loss = "mse",
9 ?% p; G; N$ I' D    optimizer = optimizer_rmsprop(),
    metrics = list("mean_absolute_error")
  )
6 D  |% C$ }' u8 w" |% K$ F+ z9 n
! B& Y' n% f1 j, G9 t; ]  model
1 d6 `4 U8 U) F0 d+ Q3 c}

model <- build_model()
model %>% summary()
& S9 y) I3 f1 m% k

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
# Display training progress by printing a single dot for each completed epoch.
print_dot_callback <- callback_lambda(
0 A5 o0 d* J- N  on_epoch_end = function(epoch, logs) {
$ m9 g5 t; b( T    if (epoch %% 80 == 0) cat("\n")
    cat(".")
  }
)   

epochs <- 500
5 @/ M$ Q+ }( t  W6 Z, D- `. E
. p& \0 H9 C; ^9 U+ H# Fit the model and store training stats
history <- model %>% fit(
+ i. U+ f; Y, H1 R5 y; I7 k  train_data,
$ {+ f- p$ d+ Q1 n6 b. j  train_labels,
  epochs = epochs,
  validation_split = 0.2,
. e% f+ L4 d  G0 H+ h  verbose = 0,
1 ?3 G. V4 u4 H' B" p. \  callbacks = list(print_dot_callback)
)
1 ~4 N; y9 b1 k
library(ggplot2)

  R) a* M6 X4 J. ~& @# {plot(history, metrics = "mean_absolute_error", smooth = FALSE) +
- Z( l" P& G0 X5 L8 C  coord_cartesian(ylim = c(0, 5))


; y. z% p" F: k! [. h, C& X: G
小结
1）回归常用的损失函数是均方误差（MSE）。
2）常见的回归指标是平均绝对误差（MAE）。
3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
" _0 b2 |. Q% z' ?4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。
$ h2 l3 b+ M& u) I, a
' X6 t5 Q+ B2 t" ]& Y9 j3 r. ~1 ^

6 F& z# d3 w: d* K; d! P+ N