预测房价：回归问题——R语言

1047521767

预测房价：回归问题——R语言
- H6 f3 |3 @& u! S! p在回归问题中，我们的目标是预测连续值的输出，如价格或概率。将此与分类问题进行对比，分类的目标是预测离散标签（例如，图片包含苹果或橙色）。
2 C- z" e) ^; C, k! b
问题描述
" @6 E% S; G. a1 E我们将要预测20世纪70年代中期波士顿郊区房屋价格的中位数，已知当时郊区的一些数据点，比如犯罪率、当地房产税率等。
, m# Q: P2 T1 f$ r4 a本次用到的数据集包含的数据点相对较少，只有506个，分为404个训练样本和102个测试样本。输入数据的每个特征（比如犯罪率）都有不同的取值范围。例如，有些特征是比例，取值范围0 ~ 1；有的取值范围为1 ~ 12；还有的取值范围0 ~ 100，等等。
' l- s; }& T8 D* q+ `数据特征：
人均犯罪率。
占地面积超过25,000平方英尺的住宅用地比例。
0 L' I: q7 h- n$ I; b, M6 X3 L6 g5 u4 j每个城镇非零售业务的比例。
Charles River虚拟变量（如果管道限制河流则= 1;否则为0）。
一氧化氮浓度（每千万份）。
. @! A% h7 k& A1 P2 ~# e每栋住宅的平均房间数。
5 L& z* V1 K& ^& H  n1940年以前建造的自住单位比例。
到波士顿五个就业中心的加权距离。
径向高速公路的可达性指数。
$ G7 i. j! W, W$ |5 w% O每10,000美元的全额物业税率。
2 q- L2 U# `) V- h城镇的学生与教师比例。
1000 （Bk - 0.63）* 2其中Bk是城镇黑人的比例。
5 u6 t9 T, @, k7 a0 t3 C8 w7 y人口比例较低的百分比。
1. 加载波士顿房价数据
! t5 X5 @) T# w( j6 Y2 {library(keras)

boston_housing <- dataset_boston_housing()

, K+ V) ], m5 N1 q$ uc(train_data, train_labels) %<-% boston_housing$train
2 J% W2 G  d/ I: T  @2 Vc(test_data, test_labels) %<-% boston_housing$test
- p5 d. ?& f/ @0 B4 o

每个样本有13个数值特征，目标是房屋价格的中位数，单位千美元。

2. 准备数据

数据标准化

将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自适应这种取值范围不同的数据，但学习肯定变得更加苦难。对于这种数据，普遍采用的最佳实践是对每个特征做标准化。

; D& ~/ C2 N3 j- F+ Y' E# Test data is *not* used when calculating the mean and std.
: ]/ R- D. B, ^+ x- }( K
+ K: \0 z/ j# T- ?* R/ ]7 T9 f0 |4 |# Normalize training data
' t1 w2 I2 E- Y' _9 v6 ~train_data <- scale(train_data)

- V0 [  D  a4 Y, I" x# Use means and standard deviations from training set to normalize test set
col_means_train <- attr(train_data, "scaled:center")
col_stddevs_train <- attr(train_data, "scaled:scale")
test_data <- scale(test_data, center = col_means_train, scale = col_stddevs_train)
) ^+ x! z$ H% p
3. 构建网络

创建模型

build_model <- function() {
" V& ?/ Q* I4 P* h# W5 C
  model <- keras_model_sequential() %>%
0 j: {0 {* T5 N# _  S5 h" E: W/ H    layer_dense(units = 64, activation = "relu",
6 m3 C3 R0 p* D3 g+ Y( F                input_shape = dim(train_data)[2]) %>%
    layer_dense(units = 64, activation = "relu") %>%
    layer_dense(units = 1)

  model %>% compile(
# s) J3 w7 J+ E8 z+ W/ l% v    loss = "mse",
& M, H6 q2 c' l! v    optimizer = optimizer_rmsprop(),
    metrics = list("mean_absolute_error")
; `* |2 M9 e3 K, d5 j  )
2 d0 V$ p9 s% d4 [4 [0 ^
$ ^& X( m" s9 n6 ?' v  model
}
) B* v/ n& Z: H5 B/ {5 W
model <- build_model()
model %>% summary()

网络的最后一层只有一个单元，没有激活，是一个线性函数。这是标量回归（标量回归是预测单一连续值得回归）得典型设置。添加激活函数将会限制输出范围。

4. 训练模型
# Display training progress by printing a single dot for each completed epoch.
print_dot_callback <- callback_lambda(
  on_epoch_end = function(epoch, logs) {
6 \: g4 S$ u4 a+ w  Q' i    if (epoch %% 80 == 0) cat("\n")
    cat(".")
; [. W& O, L# e8 W2 z  }
)   
( x4 _2 I' M2 B9 f
epochs <- 500

" C8 _' O# x; \1 J# Fit the model and store training stats
. Q9 T) |6 X5 ~/ k6 K- shistory <- model %>% fit(
; u) ]2 x, N8 {- L4 O  train_data,
  train_labels,
  epochs = epochs,
- n4 b9 i: U& B5 G3 R* h( ]  validation_split = 0.2,
! e7 q: x' l4 a1 l/ i# J6 Z$ C6 M  verbose = 0,
  callbacks = list(print_dot_callback)
6 _! Z& {3 G! z)

library(ggplot2)
$ c  D4 M7 M6 j3 Y  S+ B
plot(history, metrics = "mean_absolute_error", smooth = FALSE) +
6 m2 e1 P- u4 P5 `3 X* y$ ?! d  coord_cartesian(ylim = c(0, 5))
( B* W5 V+ @; E9 P" S4 I3 P. R& }


小结
) q4 W5 I9 l+ f$ L# `8 `# ?1）回归常用的损失函数是均方误差（MSE）。
% u/ _3 w2 p$ M5 ?3 o+ t* u2）常见的回归指标是平均绝对误差（MAE）。
3）如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
4）如果可用训练数据很少，最好使用隐藏层较少（通常只有1~2个）的小型网络，以避免严重的过拟合。


4 F, K& f; I  J# c9 _. \+ H
8 w7 w4 n3 I' O: h, I- b# b