预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。
4 @+ l3 }. U; R) \) o0 a, K
# ]/ s) o* }; v! K/ u问题描述
我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
数据特征：
人均犯罪率。
占地面积超过25,000平方英尺的住宅用地比例。
- |+ {- i2 G7 ~2 d9 {2 o2 ?, U8 N2 C每个城镇非零售业务的比例。
Charles River虚拟变量（如果管道限制河流则= 1;否则为0）。
一氧化氮浓度（每千万份）。
0 _# C0 }0 y0 j2 G) Z, X每栋住宅的平均房间数。
+ J9 i  x; p0 G3 U% @1940年以前建造的自住单位比例。
, b7 M1 \  O1 e1 L到波士顿五个就业中心的加权距离。
; ]  E6 ]6 [5 ]3 T! ~7 ~径向高速公路的可达性指数。
每10,000美元的全额物业税率。
城镇的学生与教师比例。
1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
2 H# X3 @  l: w4 H5 N7 \人口比例较低的百分比。
3 U* P: ]+ u2 J8 Z! q% V1. 加载波士顿房价数据
$ }. @! B3 K/ H9 D! F; alibrary(keras)

boston_housing <- dataset_boston_housing()

c(train_data, train_labels) %<-% boston_housing$train
c(test_data, test_labels) %<-% boston_housing$test

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

7 }+ u, U- P! a$ X8 n# o. K! R# Test data is *not* used when calculating the mean and std.
: c8 M& u$ m' L$ t
1 [" R; y7 F' W" n, x# Normalize training data
train_data <- scale(train_data)
: ]1 E, Q$ G; }
# Use means and standard deviations from training set to normalize test set
col_means_train <- attr(train_data, "scaled:center")
col_stddevs_train <- attr(train_data, "scaled:scale")
test_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)

3. 构建网络

创建模型

* i& z5 ~. E% k6 T) \/ y. ybuild_model <- function() {
) x6 b# {5 e% n) B
  model <- keras_model_sequential() %>%
    layer_dense(units = 64, activation = "relu",
                input_shape = dim(train_data)[2]) %>%
    layer_dense(units = 64, activation = "relu") %>%
    layer_dense(units = 1)
4 N, }- ]: f# ?# C4 X& _
  model %>% compile(
    loss = "mse",
    optimizer = optimizer_rmsprop(),
    metrics = list("mean_absolute_error")
2 R8 O" q' b! R& O5 r: e  )
0 w* W; O* v5 ?; w' _
$ j+ t; u9 s% G* Z( U  model
  x( k0 U; i, Y2 r% j+ x9 o) {4 V}

7 X1 b4 ^( B8 e1 Q; @# Cmodel <- build_model()
model %>% summary()

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
: f' j7 Q% L" ^+ X0 ?# Display training progress by printing a single dot for each completed epoch.
print_dot_callback <- callback_lambda(
8 W0 A$ k2 w& s, t+ q, o* \  on_epoch_end = function(epoch, logs) {
    if (epoch %% 80 == 0) cat("\n")
    cat(".")
3 h' S! Y9 r& t+ s2 u  }
' G+ D" G" i+ D. G7 l& M$ z, ~)   
% q) Y9 l/ g- J( `* C$ \; x0 n3 Y
epochs <- 500
' P8 P. `) }4 |9 R' `: A- U
# Fit the model and store training stats
; b  K1 F( w, r& |, \history <- model %>% fit(
! W" l' C9 Z- N  train_data,
& B" O- c6 c' \1 A7 J+ M* Y: c  train_labels,
  n% k  U& a1 c) D# q: H; ^  epochs = epochs,
  validation_split = 0.2,
  verbose = 0,
  callbacks = list(print_dot_callback)
)

) y# V9 _# A# Y, _% P5 U: v* Qlibrary(ggplot2)
# A5 C, G/ N& o8 ]6 W
+ |2 x& o0 }4 l; c. w* i  Q" u$ Vplot(history, metrics = "mean_absolute_error", smooth = FALSE) +
  coord_cartesian(ylim = c(0, 5))


4 ]; F! j# B5 A5 B: M) \$ l; _1 u
小结
8 M, U5 D( t. z! X- Y5 A0 I% @1）回归常用的损失函数是均方误差（MSE）。
# V9 G$ k1 W" U0 H8 t6 f6 [2）常见的回归指标是平均绝对误差（MAE）。
3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。
  Q! @6 |! U$ b3 F& V


% t5 T" X8 A. Q/ {. i