TensorFlow Serving - 有状态的 LSTM

Posted 2023-02-16

【中文标题】TensorFlow Serving - 有状态的 LSTM

【英文标题】：Tensorflow Serving - Stateful LSTM

【发布时间】：2017-09-28 08:55:42

【问题描述】：

是否有规范的方式来使用 Tensorflow Serving 维护有状态的 LSTM 等？

直接使用 Tensorflow API 这很简单 - 但我不确定在将模型导出到 Serving 后如何最好地在调用之间实现持久 LSTM 状态。

有没有实现上述目标的例子？ repo 中的示例非常基础。

【参考方案1】：

来自 TF 邮件列表中的 Martin Wicke：

“模型服务器中的状态模型还没有很好的集成。正如你所说，它基本上假设模型是纯函数。我们正在研究这个，你应该会看到这个功能最终出现，但它太远了承诺一个时间。因此，与此同时，您可以编写一个简单的包装器来保持服务器上的状态（并分配某种在请求中传递的会话 ID），或者您可以编写自己的服务器来维护 TensorFlow 会话状态（并类似地返回一些会话 ID）。后者性能更高。两者都需要某种垃圾收集/会话超时逻辑。”

【讨论】：

链接到邮件列表线程：groups.google.com/a/tensorflow.org/forum/#!topic/discuss/…

2019 还是一无所获

我假设这与 TF 2.0 中 tf.keras 中的有状态 LSTM 相同？还是已经解决了？