了解 R 中 rnn 模型的 Keras 预测输出

Posted 2023-02-16

【中文标题】了解 R 中 rnn 模型的 Keras 预测输出

【英文标题】：Understanding Keras prediction output of a rnn model in R

【发布时间】：2018-08-08 11:29:06

【问题描述】：

我正在通过tutorial 来尝试 R 中的 Keras 包，以预测温度。但是，本教程没有解释如何使用经过训练的 RNN 模型进行预测，我想知道如何做到这一点。为了训练模型，我使用了从教程中复制的以下代码：

dir.create("~/Downloads/jena_climate", recursive = TRUE)
download.file(
    "https://s3.amazonaws.com/keras-datasets/jena_climate_2009_2016.csv.zip",
      "~/Downloads/jena_climate/jena_climate_2009_2016.csv.zip"
    )
unzip(
  "~/Downloads/jena_climate/jena_climate_2009_2016.csv.zip",
  exdir = "~/Downloads/jena_climate"
)

library(readr)
data_dir <- "~/Downloads/jena_climate"
fname <- file.path(data_dir, "jena_climate_2009_2016.csv")
data <- read_csv(fname)

data <- data.matrix(data[,-1])

train_data <- data[1:200000,]
mean <- apply(train_data, 2, mean)
std <- apply(train_data, 2, sd)
data <- scale(data, center = mean, scale = std)

generator <- function(data, lookback, delay, min_index, max_index,
                      shuffle = FALSE, batch_size = 128, step = 6) 
  if (is.null(max_index))
    max_index <- nrow(data) - delay - 1
  i <- min_index + lookback
  function() 
    if (shuffle) 
      rows <- sample(c((min_index+lookback):max_index), size = batch_size)
     else 
      if (i + batch_size >= max_index)
        i <<- min_index + lookback
      rows <- c(i:min(i+batch_size, max_index))
      i <<- i + length(rows)
    

    samples <- array(0, dim = c(length(rows), 
                                lookback / step,
                                dim(data)[[-1]]))
    targets <- array(0, dim = c(length(rows)))

    for (j in 1:length(rows)) 
      indices <- seq(rows[[j]] - lookback, rows[[j]], 
                     length.out = dim(samples)[[2]])
      samples[j,,] <- data[indices,]
      targets[[j]] <- data[rows[[j]] + delay,2]
                

    list(samples, targets)
  


lookback <- 1440
step <- 6
delay <- 144
batch_size <- 128

train_gen <- generator(
  data,
  lookback = lookback,
  delay = delay,
  min_index = 1,
  max_index = 200000,
  shuffle = TRUE,
  step = step, 
  batch_size = batch_size
)

val_gen = generator(
  data,
  lookback = lookback,
  delay = delay,
  min_index = 200001,
  max_index = 300000,
  step = step,
  batch_size = batch_size
)

test_gen <- generator(
  data,
  lookback = lookback,
  delay = delay,
  min_index = 300001,
  max_index = NULL,
  step = step,
  batch_size = batch_size
)

# How many steps to draw from val_gen in order to see the entire validation set
val_steps <- (300000 - 200001 - lookback) / batch_size

# How many steps to draw from test_gen in order to see the entire test set
test_steps <- (nrow(data) - 300001 - lookback) / batch_size

library(keras)

model <- keras_model_sequential() %>% 
  layer_flatten(input_shape = c(lookback / step, dim(data)[-1])) %>% 
  layer_dense(units = 32, activation = "relu") %>% 
  layer_dense(units = 1)

model %>% compile(
  optimizer = optimizer_rmsprop(),
  loss = "mae"
)

history <- model %>% fit_generator(
  train_gen,
  steps_per_epoch = 500,
  epochs = 20,
  validation_data = val_gen,
  validation_steps = val_steps
)

我尝试使用以下代码预测温度。如果我是正确的，这应该给我每批次的标准化预测温度。因此，当我对这些值进行非规范化并对它们进行平均时，我得到了预测的温度。这是正确的吗？如果正确，那么预测的时间是什么时候（最新观察时间 + delay？）？

prediction.set <- test_gen()[[1]]
prediction <- predict(model, prediction.set)

另外，使用keras::predict_generator() 和test_gen() 函数的正确方法是什么？如果我使用以下代码：

model %>% predict_generator(generator = test_gen,
                            steps = test_steps)

它给出了这个错误：

error in py_call_impl(callable, dots$args, dots$keywords) : 
 ValueError: Error when checking model input: the list of Numpy
 arrays that you are passing to your model is not the size the model expected. 
 Expected to see 1 array(s), but instead got the following list of 2 arrays: 
 [array([[[ 0.50394005,  0.6441838 ,  0.5990761 , ...,  0.22060473,
          0.2018686 , -1.7336458 ],
        [ 0.5475698 ,  0.63853574,  0.5890239 , ..., -0.45618412,
         -0.45030192, -1.724062...

【参考方案1】：

注意：我对 R 的语法知之甚少，所以很遗憾，我无法使用 R 给你答案。相反，我在我的答案中使用了 Python。我希望你能轻松地翻译回来，至少我的话，R.

---

...如果我是正确的，这应该给我标准化的预测 每批次的温度。

是的，没错。预测将被标准化，因为您已经使用标准化标签对其进行了训练：

data <- scale(data, center = mean, scale = std)

因此，您需要使用计算的平均值和标准对值进行非规范化以找到真正的预测：

pred = model.predict(test_data)
denorm_pred = pred * std + mean

... 然后预测的时间（最近的观察时间 + 延迟？）

没错。具体来说，由于在这个特定的数据集中每十分钟记录一次新的观测值并且您设置了delay=144，这意味着预测值是提前 24 小时的温度（即 144 * 10 = 1440 分钟 = 24 小时）最后给出的观察结果。

另外，使用keras::predict_generator() 的正确方法是什么？ test_gen() 函数？

predict_generator 采用生成器作为输出仅提供测试样本而不是标签（因为我们在执行预测时不需要标签；训练时需要标签，即@ 987654322@，以及在评估模型时，即evaluate_generator())。这就是为什么错误提到您需要传递一个数组而不是两个数组的原因。因此，您需要定义一个仅提供测试样本的生成器，或者在 Python 中，另一种方法是将现有的生成器包装在另一个仅提供输入样本的函数中（我不知道您是否可以在 R 中执行此操作):

def pred_generator(gen):
    for data, labels in gen:
        yield data  # discards labels

preds = model.predict_generator(pred_generator(test_generator), number_of_steps)

您需要提供另一个参数，即生成器的步数以覆盖测试数据中的所有样本。实际上我们有num_steps = total_number_of_samples / batch_size。例如，如果您有 1000 个样本，并且每次生成器生成 10 个样本，则需要将生成器用于 1000 / 10 = 100 步骤。

奖励：要查看模型的性能如何，您可以使用 evaluate_generator 和现有的测试生成器（即 test_gen）：

loss = model.evaluate_generator(test_gen, number_of_steps)

给定的loss 也被归一化并去归一化（为了更好地了解预测错误），您只需将其乘以std（您不需要添加mean，因为您正在使用mae，即平均绝对误差，作为损失函数）：

denorm_loss = loss * std

这将告诉您您的预测平均偏离了多少。例如，如果您要预测温度，denorm_loss 为 5 表示预测值平均偏离 5 度（即低于或高于实际值）。

---

更新：对于预测，您可以使用 R 中的现有生成器定义一个新生成器，如下所示：

pred_generator <- function(gen) 
  function()  # wrap it in a function to make it callable
    gen()[1]  # call the given generator and get the first element (i.e. samples)
  


preds <- model %>% 
  predict_generator(
    generator = pred_generator(test_gen), # pass test_gen directly to pred_generator without calling it
    steps = test_steps
  )

evaluate_generator(model, test_gen, test_steps)

【讨论】：

感谢您抽出宝贵时间回答这个问题。遵循您的建议（在 R 中）——我发现这非常有帮助——我发现 predict_generator 函数以及与 Python 相关的 evaluate_generator 都出现错误，看来。对于predict_generator 函数，错误显示为“ValueError：具有多个元素的数组的真值不明确。使用 a.any() 或 a.all()”。 evaluate_generator(model, test_gen, test_steps) 给出“py_call_impl(callable, dots$args, dots$keywords) 中的错误：AttributeError: 'str' object has no attribute 'ndim'”。有任何想法吗？最佳

@markus 你提到的第二个错误has been reported before。似乎通过升级 Keras 包问题解决了。尝试将 Keras 升级到最新版本，看看是否已解决。如果没有，请再次告诉我，我会进行更多调查。

在我将keras 更新到版本 2.2.0.9000 后，当我尝试拟合模型时出现以下错误：“AttributeError: 'str' object has no attribute 'shape'”。对我来说似乎很奇怪。再次降级到 2.2.0 版本后，错误仍然存​​在。

已经创建了一个要点。你可以在这里找到它：gist.github.com。谢谢。

@markus 好吧，我今天学了一些 R :) 你不需要使用命名列表。只需像以前一样使用普通的基于索引的列表。至于pred_generator 的定义，我已经更新了我的答案并包含了正确的方法。修改后，我测试了代码，它在我的机器上运行良好。顺便说一句，我的 Keras 包版本是 2.2.0，TF 版本是 1.9，R 版本是 3.4.4。