Keras 预测重复的列

Posted 2023-02-16

【中文标题】Keras 预测重复的列

【英文标题】：Keras predict repeated columns

【发布时间】：2021-11-18 11:07:23

【问题描述】：

我有一个关于 R 中 keras 模型代码的问题。我已经完成了模型的训练，需要进行预测。预测一条线非常快，但我的数据有 2000,000,000 行和近 200 列，其结构类似于附图。 Datastructure 我不知道是否有人对使用哪种方法有任何建议，以便 predict 可以快速运行并使用更少的内存。为了预测，我根据表格创建了一个矩阵，每个矩阵是 200,000x200 维度。然后我使用 sapply 来预测所有剩余的矩阵。然而，即使每个矩阵的 predict 速度很快，但创建矩阵的速度很慢，所以它使模型运行时间增加了两倍或三倍，这还没有考虑到 sapply 步骤。我想知道 keras 是否有一种“聪明”的方式来知道在他的每个矩阵中，最后 N 列完全相同？我谷歌并看到有人在谈论 RepeatVector 但我不太明白，似乎这仅用于培训？我已经有了模型，只需要预测。 非常感谢大家！

【问题讨论】：

请提供足够的代码，以便其他人更好地理解或重现问题。

【参考方案1】：

在本地提供 keras 模型的最高效方法之一是创建 tf.data.Dataset 对象。请查看tfdatasets R 包以获取指南和示例用法。

【讨论】：

这看起来是一个非常不错的包。当我弄清楚如何使用它来解决我的问题时，我会回去编辑问题。