预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。

- `$ D# U) V7 O  t9 y" ]问题描述
& X0 i, N  p9 m9 p# @我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
, U! i6 b! L- B3 f* a" ]8 K数据特征：
( D$ i! C1 l4 K8 Z! V2 ]1 W0 S* @, K人均犯罪率。
- J' r) Z/ g+ b( [! l: u! v$ L6 F2 a占地面积超过25,000平方英尺的住宅用地比例。
; h* E5 n& d8 W, H每个城镇非零售业务的比例。
; d. A4 ]& K* t: bCharles River虚拟变量（如果管道限制河流则= 1;否则为0）。
一氧化氮浓度（每千万份）。
* [" h! O( m+ }4 d! _5 m# e每栋住宅的平均房间数。
1 k& {6 _9 ^1 t& C/ q- D" T! f, y1940年以前建造的自住单位比例。
# m  N# u7 n* X. M' y' w到波士顿五个就业中心的加权距离。
, g/ Z7 `5 a- w' E  a! s4 Z1 E( Q径向高速公路的可达性指数。
每10,000美元的全额物业税率。
城镇的学生与教师比例。
1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
人口比例较低的百分比。
1. 加载波士顿房价数据
/ ~; Z7 f, |0 e) xlibrary(keras)

4 n3 k4 b* D! n) o. D" |: tboston_housing <- dataset_boston_housing()
& {8 g, G% \; A! n8 M
/ h) K5 l  _" cc(train_data, train_labels) %<-% boston_housing$train
c(test_data, test_labels) %<-% boston_housing$test

1 g+ l3 O. K3 z4 h- P9 b6 ~4 u

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

# Test data is *not* used when calculating the mean and std.

# Normalize training data
" P& w: G: U4 s1 L! o" ]: p4 p9 ztrain_data <- scale(train_data)
  b) x3 b+ R6 B. Y5 P5 o
9 H8 q1 Q, o- L8 d! H' O# Use means and standard deviations from training set to normalize test set
col_means_train <- attr(train_data, "scaled:center")
col_stddevs_train <- attr(train_data, "scaled:scale")
test_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)
3 v2 z: v& ]6 c& r. N$ v8 V
6 {' Z9 q1 G, L* w! H4 w- s3. 构建网络

创建模型

build_model <- function() {
+ Y4 X7 A; `: x4 [, w+ h
; ^6 I: i: N. e3 X+ t/ z  model <- keras_model_sequential() %>%
. d* j3 n8 v7 f+ U8 @; F8 B9 R    layer_dense(units = 64, activation = "relu",
                input_shape = dim(train_data)[2]) %>%
    layer_dense(units = 64, activation = "relu") %>%
    layer_dense(units = 1)

/ i) l* h( d& r  B  model %>% compile(
- O6 S9 y8 _# k7 `5 m    loss = "mse",
    optimizer = optimizer_rmsprop(),
2 y1 U2 J' H2 U! ~    metrics = list("mean_absolute_error")
+ a* \' L6 K; o; z- Z; r  )

# Q0 s' r! a- e3 [, H: h  model
}

- F/ i1 ~) Q+ U* k6 G/ |2 W! l9 Bmodel <- build_model()
model %>% summary()

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
! l! ~1 p4 @3 q2 i# Display training progress by printing a single dot for each completed epoch.
print_dot_callback <- callback_lambda(
0 j2 Y0 P% v7 }. I1 y5 k  w# B  on_epoch_end = function(epoch, logs) {
! c/ H6 N! t" X# E0 i7 U    if (epoch %% 80 == 0) cat("\n")
    cat(".")
  }
5 }* d' J2 \4 l)   
$ m8 h; N% G& D$ @0 i
epochs <- 500

: \# J, g; i7 }3 C; K$ B& a# Fit the model and store training stats
& ]3 P6 ~3 E* Y) s% a1 Ohistory <- model %>% fit(
3 C: Q1 r* P3 g  e0 P# z. G- A  train_data,
  train_labels,
  epochs = epochs,
7 ]- s6 s* ~7 o5 m6 u, B: c  validation_split = 0.2,
  verbose = 0,
9 Q% S) e- T; A% t/ V' b  callbacks = list(print_dot_callback)
$ Q! u3 p7 s; s# l2 b) ?)
/ Y+ B3 i9 h% ~
library(ggplot2)

plot(history, metrics = "mean_absolute_error", smooth = FALSE) +
/ e% }$ B( Z# p2 c. U. k$ S3 N" k  coord_cartesian(ylim = c(0, 5))
# d" i$ \0 P# v9 h8 g% o7 l; s+ L
$ F* J+ T: A$ c% h; F3 P2 P' u0 h

小结
/ K) P; h( |- V) p" }- D/ p1）回归常用的损失函数是均方误差（MSE）。
2）常见的回归指标是平均绝对误差（MAE）。
3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
+ b% [* V- g$ h9 K4 G4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。