预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。

! R0 T: X1 f5 @! ?4 Z+ L. J4 E问题描述
我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
! b% R* a0 a' b! ?  t+ ^本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
; \) [" L% x/ l: X数据特征：
人均犯罪率。
7 v4 L, k7 i6 c占地面积超过25,000平方英尺的住宅用地比例。
( d- r: |/ v4 X1 N+ S" j4 E每个城镇非零售业务的比例。
6 M! S. @6 n: J3 C2 @+ GCharles River虚拟变量（如果管道限制河流则= 1;否则为0）。
! N1 ]* R9 y5 I" \; n一氧化氮浓度（每千万份）。
每栋住宅的平均房间数。
0 I5 m4 \/ Q7 a7 d  C; l& u1940年以前建造的自住单位比例。
到波士顿五个就业中心的加权距离。
径向高速公路的可达性指数。
每10,000美元的全额物业税率。
城镇的学生与教师比例。
- `  i# K+ }( E9 }; x3 p1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
人口比例较低的百分比。
1 X0 h% _# n8 H" G6 d( D% P* k1. 加载波士顿房价数据
library(keras)
3 z5 P2 Q8 _  x6 k4 o
boston_housing <- dataset_boston_housing()
! ?$ [! q, \0 e9 K6 ?+ W( |
c(train_data, train_labels) %<-% boston_housing$train
# P8 x. |: h/ v- M5 |5 Jc(test_data, test_labels) %<-% boston_housing$test

, K* Q9 {$ _5 x0 ~8 ?

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

# Test data is *not* used when calculating the mean and std.
4 z- I+ K" f5 N" ]
# Normalize training data
! Q. j% L8 c! |' z  ttrain_data <- scale(train_data)

7 k2 S& E0 c3 w. Q# Use means and standard deviations from training set to normalize test set
col_means_train <- attr(train_data, "scaled:center")
. X1 O% L5 o5 t' l+ f9 Ucol_stddevs_train <- attr(train_data, "scaled:scale")
test_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)
. e4 l. N& K' K* ^  H) c# W0 f: e
2 y1 F7 e- T* l1 _8 C/ C3. 构建网络

创建模型

build_model <- function() {

. e5 a6 d* M0 W  model <- keras_model_sequential() %>%
2 n! s8 i$ E% l$ Z0 @5 n    layer_dense(units = 64, activation = "relu",
. k5 k: u' |2 Z# K  n  g6 v                input_shape = dim(train_data)[2]) %>%
9 a3 l  G8 }5 K3 e    layer_dense(units = 64, activation = "relu") %>%
    layer_dense(units = 1)
  T5 ]" O: w2 h5 \: T. p
4 R, W+ `  d5 \, f4 O7 }2 |  model %>% compile(
- U/ U  Q( ]$ G# }5 s7 ?8 ^    loss = "mse",
    optimizer = optimizer_rmsprop(),
    metrics = list("mean_absolute_error")
) y+ ~! [* Y3 L; c) @  )

1 `  E" w* f0 D# H  model
}

1 `) k- ~- }# X+ u* Xmodel <- build_model()
model %>% summary()

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
# Display training progress by printing a single dot for each completed epoch.
print_dot_callback <- callback_lambda(
  on_epoch_end = function(epoch, logs) {
& [4 G3 |1 N% z; ~, |    if (epoch %% 80 == 0) cat("\n")
7 G; }- U* C, W9 E    cat(".")
4 ?3 H% C1 v) Q4 R! y6 f  }
)   

( R* \/ Z5 B5 k  x9 l3 Repochs <- 500

  z- \4 Q7 p- M) ]$ J* a- Y# Fit the model and store training stats
* W1 j/ B1 M1 E1 ]. f5 c5 `history <- model %>% fit(
8 P- X* M3 t3 ^3 [4 G  ?. V  train_data,
: Z1 b+ |) a+ Z( {  train_labels,
5 |8 l8 P4 Z9 z! e  epochs = epochs,
. s3 `( z+ _0 a  validation_split = 0.2,
/ t! Y/ w/ ~9 I- `  verbose = 0,
, ?* r& A' g  R% R  callbacks = list(print_dot_callback)
)

library(ggplot2)
8 l: [( V) N5 q8 K& Y/ |! [
plot(history, metrics = "mean_absolute_error", smooth = FALSE) +
( [! E1 `, ?$ ~. H5 B; `  coord_cartesian(ylim = c(0, 5))



小结
1）回归常用的损失函数是均方误差（MSE）。
2）常见的回归指标是平均绝对误差（MAE）。
3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。
! o0 s5 j8 T0 a' Q0 Z9 e
$ J+ h% x) P7 o+ F- Q/ C( h% Z( |! a

- n) N, Z/ Z$ D. C# E3 _