如何在 tensorflow 2.0.0 中使用 Lazy Adam 优化器

Posted 2023-02-16

【中文标题】如何在 tensorflow 2.0.0 中使用 Lazy Adam 优化器

【英文标题】：How to use Lazy Adam optimizer in tensorflow 2.0.0

【发布时间】：2020-04-30 10:59:09

【问题描述】：

此代码不起作用：tf.contrib 有问题

model.compile(optimizer=TFOptimizer(tf.contrib.opt.LazyAdamOptimizer()), loss='categorical_crossentropy')

我用tensorflow_addons.optimizers.LazyAdam() 尝试过一些东西，但这也不起作用。

知道如何在 tensorflow 2.0.0 中运行 LazyAdam 吗？

PS：只有Adam 可以很好地工作：

model.compile(optimizer=tf.keras.optimizers.Adam(), loss='categorical_crossentropy')

【问题讨论】：

请注明“不起作用”。也就是说，提供一个最小的、完整的代码示例以及完整的错误回溯（以防您遇到错误）。请注意，contrib 在 TF 2.x 中不存在。

【参考方案1】：

import tensorflow_addons as tfa
optimizer = tfa.optimizers.LazyAdam()

tensorflow_addons 是 TensorFlow 2.x 的一个额外功能，但现在 TensorFlow 2.x 还不是很稳定，如果您遇到module 'tensorflow_core.keras.utils' has no attribute 'register_keras_serializable'，请尝试将您的 tensorflow 更新到最新的稳定版本。

【讨论】：

这可能是一个正确的答案，但对您的代码提供额外的解释会很有用，以便开发人员能够理解您的推理。这对于可能不熟悉语法的新开发人员特别有用。此外，它可以帮助减少对后续问题的需求。您介意用更多详细信息更新您的评论吗？

嗨，我在尝试加载 tensorflow_addons 时遇到此错误：模块 'tensorflow_core.keras.utils' 没有属性 'register_keras_serializable'

好吧抱歉，看来问题出在我的电脑和椅子之间...我更新了 tensorflow 版本（从 R 切换到 python，TBH 对我来说不是很直观），它现在正在工作。谢谢。 :)