预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
( c/ r& z0 E7 i* Q8 S+ C9 h在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。

问题描述
; D- M! P- H$ U+ W; |+ |  F我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
/ |' m0 h' _7 C" O& k本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
数据特征：
人均犯罪率。
- {# Y! u7 n6 z$ O  }* X$ T占地面积超过25,000平方英尺的住宅用地比例。
% x+ B2 _7 G4 @1 I每个城镇非零售业务的比例。
Charles River虚拟变量（如果管道限制河流则= 1;否则为0）。
' f' R( ?. o+ g# H, o一氧化氮浓度（每千万份）。
) a% Z! X3 c2 U  d7 T7 X0 D每栋住宅的平均房间数。
' e# L7 z4 t% s* I- r1940年以前建造的自住单位比例。
: p' R: i- V. E  n& J( Z8 w到波士顿五个就业中心的加权距离。
径向高速公路的可达性指数。
$ f) p( T: b: J8 M: n( o( g/ R: S每10,000美元的全额物业税率。
城镇的学生与教师比例。
1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
' L) B) n( Z# }; y( C人口比例较低的百分比。
; _; E2 I! b4 x  V, |7 s1. 加载波士顿房价数据
' E. L& r+ N4 ?0 ~$ rlibrary(keras)
0 z! c9 t" a( o: N) O
2 c- V/ `  ?" Y8 E3 [5 ~& L) Oboston_housing <- dataset_boston_housing()
6 _7 y/ z) K4 \% P2 [% l/ b
c(train_data, train_labels) %<-% boston_housing$train
/ h" \' H( R) `/ }+ @. r- o/ Xc(test_data, test_labels) %<-% boston_housing$test

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

# Test data is *not* used when calculating the mean and std.
8 y' z3 v4 u, ?4 ~
) z0 P; u' y2 F7 h8 \3 H8 \$ b# Normalize training data
train_data <- scale(train_data)
1 }; [! P; q$ W
$ @" P) E5 t% M+ ^# Use means and standard deviations from training set to normalize test set
. H& Q% P- y+ `& s3 C# c( t* Lcol_means_train <- attr(train_data, "scaled:center")
col_stddevs_train <- attr(train_data, "scaled:scale")
test_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)

2 M' }/ E9 b" a9 @+ F, }3 a8 B3. 构建网络

创建模型

build_model <- function() {
3 |# O. f; x. W4 J, [
  model <- keras_model_sequential() %>%
2 r' f) ~. N5 L3 w* u    layer_dense(units = 64, activation = "relu",
) N' Q: D' X$ o, r- q                input_shape = dim(train_data)[2]) %>%
9 @' R$ b. }4 t0 U    layer_dense(units = 64, activation = "relu") %>%
    layer_dense(units = 1)
- c5 o" N6 Q9 K. ^, I
  model %>% compile(
    loss = "mse",
    optimizer = optimizer_rmsprop(),
    metrics = list("mean_absolute_error")
  )
+ z( Q" q' g( \- }- l8 H
6 G  F- U! @/ S( n+ Q) F  model
2 o" `; k7 I# A4 v% p+ J/ L}

7 K9 \5 K2 n/ imodel <- build_model()
model %>% summary()
$ I/ [- Y& M- D9 ^5 Y5 c3 X
* O* p" J+ j0 ~, W$ T9 G

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
# Display training progress by printing a single dot for each completed epoch.
print_dot_callback <- callback_lambda(
  on_epoch_end = function(epoch, logs) {
    if (epoch %% 80 == 0) cat("\n")
    cat(".")
: I/ o; v/ u, [. N# w: M  }
)   
- ~. ^' c' J3 [9 h* E; H
epochs <- 500
% L9 e" M% B' x3 R  u( k+ S# h
- {1 x! ]& x# N# p6 T" L) g- p) x- [# m- y# Fit the model and store training stats
$ a4 R- `" Z4 ^, L' C9 Fhistory <- model %>% fit(
  train_data,
& G, x( G/ ^  u( O3 ]  train_labels,
  epochs = epochs,
  validation_split = 0.2,
8 D) `+ v5 e: J  verbose = 0,
0 ~/ f; ]" ?8 K& X  callbacks = list(print_dot_callback)
)

library(ggplot2)

plot(history, metrics = "mean_absolute_error", smooth = FALSE) +
  coord_cartesian(ylim = c(0, 5))
3 O7 b2 [- n# h


小结
! m$ V; R8 m/ k# ~1）回归常用的损失函数是均方误差（MSE）。
3 Y' c% @; n' ]  \" }2）常见的回归指标是平均绝对误差（MAE）。
3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。
! O& Z9 c6 M2 `0 y4 A  g# l( O- p
) N* @  O; P3 H. c% m- J  x
4 o2 x5 ]/ M1 Y' q3 Y4 |