预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。
2 z  z/ H6 q1 P3 }8 }/ x- g- l* q
* U7 b; N' X3 D  z+ g8 `# a问题描述
$ \5 }4 o  {( w5 X0 Y我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
数据特征：
人均犯罪率。
, m6 g3 [. e/ c3 r( _' E占地面积超过25,000平方英尺的住宅用地比例。
每个城镇非零售业务的比例。
$ v" U! a9 S% `1 e/ FCharles River虚拟变量（如果管道限制河流则= 1;否则为0）。
一氧化氮浓度（每千万份）。
每栋住宅的平均房间数。
5 h! H0 y+ q- w1940年以前建造的自住单位比例。
到波士顿五个就业中心的加权距离。
径向高速公路的可达性指数。
1 g7 q/ V: [0 ]% J- }: l: N每10,000美元的全额物业税率。
城镇的学生与教师比例。
" K. H' m- d: V' b, g* x1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
: [1 x! p5 o0 h- }) ]1 a: i' @人口比例较低的百分比。
1. 加载波士顿房价数据
library(keras)

boston_housing <- dataset_boston_housing()

% z% g% L4 p* r2 c! G  ]5 wc(train_data, train_labels) %<-% boston_housing$train
c(test_data, test_labels) %<-% boston_housing$test
0 |6 G2 F3 B- N4 p, d6 O
; P6 W/ q/ [$ h+ c) @% y3 d

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

# t9 \# d; J9 j1 n( Y' m# Test data is *not* used when calculating the mean and std.
8 D: w( h- B$ b# p! r6 \; \3 v
& k) m8 ~" c! ?5 \2 H# Normalize training data
train_data <- scale(train_data)
0 Z7 l  R6 T" C4 R. Z
# Use means and standard deviations from training set to normalize test set
col_means_train <- attr(train_data, "scaled:center")
9 x/ E. B, h  U( r! [& ~col_stddevs_train <- attr(train_data, "scaled:scale")
. V2 x# [7 j) q+ jtest_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)

# a0 }" T- F1 i' X9 _/ s  n2 }3. 构建网络

创建模型

build_model <- function() {

  model <- keras_model_sequential() %>%
+ z8 E9 \4 r; `# ~8 E6 Z! W  \% q    layer_dense(units = 64, activation = "relu",
                input_shape = dim(train_data)[2]) %>%
    layer_dense(units = 64, activation = "relu") %>%
    layer_dense(units = 1)
7 _7 p, O& K, C, H' l
  model %>% compile(
  o% T" A7 j" ~( k5 u$ M$ y' y    loss = "mse",
. j8 o+ {6 K. K    optimizer = optimizer_rmsprop(),
    metrics = list("mean_absolute_error")
  )
7 _" N# |$ j& d, a' y' Y
  model
}

9 P3 K4 e3 S7 `0 l" ?3 hmodel <- build_model()
6 X; q' R9 e( I8 e& k- [& ?. J. umodel %>% summary()
$ T5 D" O$ E1 S; L2 z
' I$ L8 m$ ^9 l" ^0 z0 W

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
# Display training progress by printing a single dot for each completed epoch.
* r) U# S( s4 q0 {$ z* Nprint_dot_callback <- callback_lambda(
  on_epoch_end = function(epoch, logs) {
+ p. U% ]; Y: \* S    if (epoch %% 80 == 0) cat("\n")
    cat(".")
  }
)   
5 V$ A6 [# V; H& y  Q, _; r
epochs <- 500
& ]  j* j. }7 l( ^) ~& W
6 v' {8 X; b' }$ ^, U  C# Fit the model and store training stats
7 }; |2 O" u7 a6 f% n5 p! @history <- model %>% fit(
  train_data,
4 }. F9 ?3 j3 K0 S# V5 ^6 K  train_labels,
' S0 c8 ~  y" R  epochs = epochs,
- P" g' Z, m% u0 a  validation_split = 0.2,
, ]: k! d2 a; w& e$ n( Z9 ^6 N7 n  verbose = 0,
1 t( H6 Z3 n( g1 b7 A% D9 a8 a  callbacks = list(print_dot_callback)
)
/ X/ e9 T* C6 e7 j; X' ?1 J, A5 N
# n* X1 X  I. a. ~library(ggplot2)

! w9 P9 F) E# w0 dplot(history, metrics = "mean_absolute_error", smooth = FALSE) +
  coord_cartesian(ylim = c(0, 5))

( i* ?7 `- _" h3 @+ P0 V1 q5 B
" t: x) d1 ^/ p8 Y
小结
1）回归常用的损失函数是均方误差（MSE）。
2）常见的回归指标是平均绝对误差（MAE）。
) l$ l% M- d# \3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。

( x7 I* d8 W3 D7 o( R" N