预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。
2 a0 O; a* U" ?! q
问题描述
我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
: v% C# H( a' H# r% [/ }" S数据特征：
7 d' A: f% K7 _5 z9 p$ I人均犯罪率。
占地面积超过25,000平方英尺的住宅用地比例。
, M# I  A8 ^& k$ y每个城镇非零售业务的比例。
Charles River虚拟变量（如果管道限制河流则= 1;否则为0）。
一氧化氮浓度（每千万份）。
每栋住宅的平均房间数。
1940年以前建造的自住单位比例。
到波士顿五个就业中心的加权距离。
径向高速公路的可达性指数。
  S" k& h' ]: ~. F$ `每10,000美元的全额物业税率。
: Y* e+ @# d  c0 i( r% i2 s1 W" C城镇的学生与教师比例。
1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
0 ~, y4 ~  t7 v" `+ B$ k7 Y. R6 A人口比例较低的百分比。
  s+ [1 P2 ?8 g) y1. 加载波士顿房价数据
" [  _5 n3 U5 K- F: K4 blibrary(keras)

7 E, Z' O/ R5 }# ^# S8 H! f# K  iboston_housing <- dataset_boston_housing()
( [7 s/ F% X( k0 F: Y' F% a1 X
/ E# O$ g! p) {: `' h1 c8 v$ Vc(train_data, train_labels) %<-% boston_housing$train
' c  x! Q5 ?5 J8 c: Cc(test_data, test_labels) %<-% boston_housing$test
! p1 x' q+ K. c5 {5 J4 W

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

3 P. m: w  @2 Z0 f  Y# Test data is *not* used when calculating the mean and std.

# Normalize training data
* q8 p1 \& u) G" C# h2 Utrain_data <- scale(train_data)
4 g& [3 x! R. P
" u4 `9 }: s+ }# Use means and standard deviations from training set to normalize test set
col_means_train <- attr(train_data, "scaled:center")
col_stddevs_train <- attr(train_data, "scaled:scale")
7 h9 O+ ^+ I$ w7 p: f$ [6 vtest_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)
+ T1 @0 p* Z5 q  u  M( u5 K
: b$ v9 p- g7 f! w! K5 \  X! W3. 构建网络

创建模型

build_model <- function() {
, Q) ?7 g! l7 j+ i# I: M% Z5 _6 E; o
: I2 a7 T$ Q* T7 N; r- N  model <- keras_model_sequential() %>%
  y& P) H( N& M* }: `6 j% q    layer_dense(units = 64, activation = "relu",
: z2 n( R5 i" H7 w                input_shape = dim(train_data)[2]) %>%
    layer_dense(units = 64, activation = "relu") %>%
    layer_dense(units = 1)

3 ?- \) l3 l( }4 Q  model %>% compile(
4 `5 V& l/ p$ j    loss = "mse",
5 p) A/ H) g1 S4 V& n& m9 n" a    optimizer = optimizer_rmsprop(),
5 o0 \$ p3 G( {) V    metrics = list("mean_absolute_error")
  )
$ D; M' Y7 y) M4 v
  model
}
& V2 M; Q, p7 ~2 O" N
/ L7 `' t8 O7 A/ N- Z5 E) G2 [model <- build_model()
model %>% summary()
. a" v: p6 b  ~6 C

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
. Y5 g' `  f( M2 v# Display training progress by printing a single dot for each completed epoch.
, J6 D; l4 f! V, N; D3 `' p: aprint_dot_callback <- callback_lambda(
6 k  ~; u9 k0 O5 B  on_epoch_end = function(epoch, logs) {
    if (epoch %% 80 == 0) cat("\n")
    cat(".")
  }
' @* w6 c; B% J) s3 p7 Q)   

) ~$ d' e* ]% Oepochs <- 500
% V7 e+ I+ I# E/ D
* y& K5 O5 I! R! P$ m  |# Fit the model and store training stats
history <- model %>% fit(
  train_data,
  train_labels,
, Y0 K" n/ {& H5 C2 z+ w3 ^  epochs = epochs,
  validation_split = 0.2,
' J' w; V( c2 s. l6 ~# I  verbose = 0,
  callbacks = list(print_dot_callback)
7 X/ t$ d! H2 B5 m7 z)
2 q* ^! i$ V- u9 O* w# s
library(ggplot2)
* X" I; O+ A" Z8 f
, O' C( i, e4 vplot(history, metrics = "mean_absolute_error", smooth = FALSE) +
3 y* |. i( L& c  coord_cartesian(ylim = c(0, 5))



小结
1）回归常用的损失函数是均方误差（MSE）。
: N; r3 m  t# r; Z. n2）常见的回归指标是平均绝对误差（MAE）。
3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。
# x1 t& E8 R6 Y5 k0 B