预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
9 ]; Y" U; {/ W' u" L在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。
3 t! F0 j; H) L5 U
问题描述
( V% X" M* ?4 S) W  R$ t* O我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
数据特征：
人均犯罪率。
占地面积超过25,000平方英尺的住宅用地比例。
每个城镇非零售业务的比例。
. R; \( }) h1 \) _: zCharles River虚拟变量（如果管道限制河流则= 1;否则为0）。
3 r9 |# x8 z& @, `$ `& a/ s' c一氧化氮浓度（每千万份）。
% W6 q# Q& D: {  y8 f: H, |) ]每栋住宅的平均房间数。
1940年以前建造的自住单位比例。
到波士顿五个就业中心的加权距离。
径向高速公路的可达性指数。
5 j7 b8 t5 u3 `2 V每10,000美元的全额物业税率。
. l/ E6 f5 }: E; c& Z城镇的学生与教师比例。
. d3 H+ s  V% z1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
+ x1 U) E/ M' V2 N4 ]9 Q! I( B人口比例较低的百分比。
1. 加载波士顿房价数据
library(keras)
$ j0 K; p  T7 a1 o- {' C
- J3 i2 b( R- m$ \boston_housing <- dataset_boston_housing()

0 u* _- u  Z; {* R" `" ?5 pc(train_data, train_labels) %<-% boston_housing$train
c(test_data, test_labels) %<-% boston_housing$test

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

) R0 U& [$ @/ _# N2 D# Test data is *not* used when calculating the mean and std.

# Normalize training data
train_data <- scale(train_data)

# Use means and standard deviations from training set to normalize test set
/ E  g5 a. j3 r1 C2 qcol_means_train <- attr(train_data, "scaled:center")
col_stddevs_train <- attr(train_data, "scaled:scale")
. r6 |: h3 |" H# C; q4 k7 f4 ctest_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)
( q4 F6 J2 a# k7 _, t7 H9 C
2 \. h" j9 Z5 g) W4 G3. 构建网络

创建模型

build_model <- function() {
9 D$ K+ e% `- n( y+ I- Y# a  N* B+ \
5 F, Y1 j, K0 w, @: Z# \2 Y  model <- keras_model_sequential() %>%
    layer_dense(units = 64, activation = "relu",
                input_shape = dim(train_data)[2]) %>%
    layer_dense(units = 64, activation = "relu") %>%
    layer_dense(units = 1)

  model %>% compile(
) g5 u) B' a4 H7 t2 k    loss = "mse",
    optimizer = optimizer_rmsprop(),
    metrics = list("mean_absolute_error")
* U1 n' T( x: \1 H6 ]( t3 y- K) @  )
/ M' `- g8 f/ @: [/ Q8 ~
  model
6 r! e( Q6 R+ `$ W1 f}
8 X2 t: F% L2 b, Q. w1 h* P- _$ W
model <- build_model()
model %>% summary()
; w9 S9 w% i1 w6 o$ ~5 R
2 l! Y4 q- [. I% J" C

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
# Display training progress by printing a single dot for each completed epoch.
# o$ }- I" V+ x3 mprint_dot_callback <- callback_lambda(
& V7 m! C* `6 n) J# N  on_epoch_end = function(epoch, logs) {
    if (epoch %% 80 == 0) cat("\n")
    cat(".")
  }
)   

8 h+ h7 ?& t+ G' }; E' Lepochs <- 500

# Fit the model and store training stats
history <- model %>% fit(
  train_data,
8 i: ^0 O; v0 @$ ~$ x6 [* |  train_labels,
  epochs = epochs,
; ?" x4 D3 X" q1 l1 x+ L. e) u2 E  validation_split = 0.2,
  verbose = 0,
  callbacks = list(print_dot_callback)
8 k  Y# H* s9 l* f)
9 J* O; z, U" N% h! x& R
library(ggplot2)

plot(history, metrics = "mean_absolute_error", smooth = FALSE) +
  coord_cartesian(ylim = c(0, 5))

0 p0 n3 q) P9 s+ R3 m/ U1 I& }" l3 W
, ^- ]+ Y% [! S) {" y7 ?* |
小结
& K- D6 D/ i0 f1）回归常用的损失函数是均方误差（MSE）。
2）常见的回归指标是平均绝对误差（MAE）。
3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
: y2 p, i& Z/ Q' W. x4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。
/ Y% k0 E, z. a8 S8 U* r3 G