预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。
: w& j3 E% `3 G6 |. g
问题描述
& V6 L' z2 [* g  m& `我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
数据特征：
人均犯罪率。
, ]3 ]! J) {' }& y8 [# f占地面积超过25,000平方英尺的住宅用地比例。
& w; }* n  k+ K7 {* y) T3 [4 b8 |每个城镇非零售业务的比例。
Charles River虚拟变量（如果管道限制河流则= 1;否则为0）。
一氧化氮浓度（每千万份）。
: K+ K- c9 J0 t  l  X每栋住宅的平均房间数。
) v+ k# L0 ~% K2 d) a5 k1940年以前建造的自住单位比例。
( E# z+ W7 [0 c  \1 m到波士顿五个就业中心的加权距离。
4 Q8 |4 o2 }8 Y径向高速公路的可达性指数。
每10,000美元的全额物业税率。
城镇的学生与教师比例。
1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
人口比例较低的百分比。
1. 加载波士顿房价数据
  K/ t3 F5 R" g, s  wlibrary(keras)
+ V" Z) v( m# x# P7 S% m7 J
boston_housing <- dataset_boston_housing()

c(train_data, train_labels) %<-% boston_housing$train
8 X1 z4 B; K" F/ N: J$ Nc(test_data, test_labels) %<-% boston_housing$test

# @) b: ~2 I, _$ y7 g  Z' }4 |# S9 @

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

# Test data is *not* used when calculating the mean and std.
) i) C& x, f$ }; }
# Normalize training data
train_data <- scale(train_data)

# Use means and standard deviations from training set to normalize test set
col_means_train <- attr(train_data, "scaled:center")
col_stddevs_train <- attr(train_data, "scaled:scale")
test_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)
( g6 Q# ~' ^$ `: ^! `$ N0 K3 d
/ t- @* M/ Z% P' ]! t3. 构建网络

创建模型

build_model <- function() {

. K4 O, M8 |) O# x! |  model <- keras_model_sequential() %>%
    layer_dense(units = 64, activation = "relu",
/ j- }. i/ |. {# ?9 r& x& r                input_shape = dim(train_data)[2]) %>%
    layer_dense(units = 64, activation = "relu") %>%
4 ~4 O8 j% D5 u& l  v" ^: S# F& e* r    layer_dense(units = 1)

  model %>% compile(
    loss = "mse",
    optimizer = optimizer_rmsprop(),
! v) B  [: q/ B8 ^    metrics = list("mean_absolute_error")
% O4 W8 B6 o$ A% i' R% L6 p  )

  model
}

model <- build_model()
model %>% summary()

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
5 h, B4 A* [# F# Display training progress by printing a single dot for each completed epoch.
+ f1 h, k3 i% j0 ~  @3 aprint_dot_callback <- callback_lambda(
% m, U0 T- ^" \! x% F  on_epoch_end = function(epoch, logs) {
4 H4 _: I5 n8 W. K. n; {8 D    if (epoch %% 80 == 0) cat("\n")
    cat(".")
  }
)   
+ Q8 F# Q3 D$ k# N; N
epochs <- 500

# Fit the model and store training stats
history <- model %>% fit(
  train_data,
. G8 F( s# k. F" j+ e+ Y' W. @3 N# E" Y  train_labels,
  epochs = epochs,
0 x8 G8 L0 S! l+ {2 l+ O# s% X4 B  validation_split = 0.2,
' @# e- B( I: a  verbose = 0,
9 s  e5 ^0 b7 x1 P' b8 G! L+ }' \  callbacks = list(print_dot_callback)
)

7 H, }; l8 w( W3 z/ Rlibrary(ggplot2)
: {5 F$ [; ]% F+ R+ h
plot(history, metrics = "mean_absolute_error", smooth = FALSE) +
9 r, z# M( P. g$ v$ S) G5 i* t  coord_cartesian(ylim = c(0, 5))
! \: Z. o; F' l/ \8 m# c


小结
7 e& h" }6 t! Q  g1）回归常用的损失函数是均方误差（MSE）。
- i0 ~/ Y+ x# C; E8 {2）常见的回归指标是平均绝对误差（MAE）。
; F  ^; }( m2 Q. r2 L8 w3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。
1 s* n8 v: t* |3 X" _


' s- \, `; q/ E  b( q' {