预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
- y' B" P+ a; v4 R8 v  @: g在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。
: N. C  L4 s4 L% T
$ f1 ^9 n5 O% F2 Y! X1 U问题描述
我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
6 I2 H* X3 z* L/ H本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
! l8 S! I4 w5 Q; E/ _) U3 p3 r. q数据特征：
人均犯罪率。
占地面积超过25,000平方英尺的住宅用地比例。
7 o) T$ c" U& O4 P( x3 v每个城镇非零售业务的比例。
Charles River虚拟变量（如果管道限制河流则= 1;否则为0）。
1 H/ O9 R! x: p一氧化氮浓度（每千万份）。
每栋住宅的平均房间数。
8 J) ]7 U" A" l/ ^* u$ ?% }7 \  [  l$ n1940年以前建造的自住单位比例。
到波士顿五个就业中心的加权距离。
径向高速公路的可达性指数。
每10,000美元的全额物业税率。
城镇的学生与教师比例。
1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
& w5 e' Y# z) S  O8 X  S人口比例较低的百分比。
1. 加载波士顿房价数据
library(keras)
) \/ R( }6 {0 l; Z
boston_housing <- dataset_boston_housing()

9 R2 g2 V7 J/ H# z1 u# D  {: \c(train_data, train_labels) %<-% boston_housing$train
c(test_data, test_labels) %<-% boston_housing$test

2 I; [% [+ f* m8 l2 c

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

# Test data is *not* used when calculating the mean and std.
7 O, V! @  C) p: z' R
7 g! X7 o. c& |( J( E0 y- A# Normalize training data
# N# }' D0 Y* i# q  R: strain_data <- scale(train_data)
: s: }& m1 Y. n8 r% C( r: e) X
# Use means and standard deviations from training set to normalize test set
col_means_train <- attr(train_data, "scaled:center")
col_stddevs_train <- attr(train_data, "scaled:scale")
% b6 e  m+ |5 b/ N4 y8 w/ Ptest_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)
0 m4 B9 i- ~/ z
9 i; J- r$ t7 J  ?3. 构建网络

创建模型

build_model <- function() {
. B: s2 O% l1 q3 z* g
* ~+ W% Q) h0 F% K  model <- keras_model_sequential() %>%
+ e1 N. F+ J: z- J    layer_dense(units = 64, activation = "relu",
                input_shape = dim(train_data)[2]) %>%
/ ~  m! ?9 j0 M6 Y9 a  y: W    layer_dense(units = 64, activation = "relu") %>%
    layer_dense(units = 1)
. E) r$ C8 ?) B6 S
  model %>% compile(
    loss = "mse",
2 {) V+ t( M( z6 v, ]    optimizer = optimizer_rmsprop(),
: A1 c5 X  e3 v    metrics = list("mean_absolute_error")
  )

9 U6 F3 o, Z- D/ c/ G  model
}

model <- build_model()
5 l% j& [% R% X* H( O4 ]6 kmodel %>% summary()
$ x, R' W7 U7 J1 v- l! F6 {4 P

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
+ U$ u% s0 P/ \/ i6 z% e# Display training progress by printing a single dot for each completed epoch.
7 f5 k2 q( [" s; mprint_dot_callback <- callback_lambda(
5 D6 p* `2 ?7 r% n# _  on_epoch_end = function(epoch, logs) {
    if (epoch %% 80 == 0) cat("\n")
    cat(".")
6 X7 _5 `) [: \- k5 B" }  }
)   
. N4 I: P5 L! E- k2 s
" G: D# f) _; `1 G, D% H8 J; J0 Tepochs <- 500

6 F# N/ |; {/ B# Fit the model and store training stats
: P  b2 T2 ?6 I6 g3 d0 Shistory <- model %>% fit(
* Q. }) H5 v* c" u4 O  train_data,
  train_labels,
6 E; L5 j$ B3 P( I  epochs = epochs,
: X7 [$ x$ X9 E. i  validation_split = 0.2,
  verbose = 0,
  callbacks = list(print_dot_callback)
$ A% \* Z6 @- K; o7 N2 S5 E- m)

) G( L1 E, f. A, w6 ]  c8 j) v9 ?library(ggplot2)
" U9 F$ @  V, Z) [, i/ }) t- v
plot(history, metrics = "mean_absolute_error", smooth = FALSE) +
% l/ m9 w* E$ ~4 d" H8 o  coord_cartesian(ylim = c(0, 5))

% q5 I) Y5 t/ u' l$ R
, q+ a& U5 J2 d1 a: F! q9 q
小结
1）回归常用的损失函数是均方误差（MSE）。
2 R% Q7 [  ?- C) L5 u2）常见的回归指标是平均绝对误差（MAE）。
3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。
: Y4 X7 p: A( C( m