将 Keras 模型集成到 TensorFlow

Posted 2023-03-13

【中文标题】将 Keras 模型集成到 TensorFlow

【英文标题】：Integrating Keras model into TensorFlow

【发布时间】：2018-12-08 23:46:36

【问题描述】：

我正在尝试在 TensorFlow 代码中使用预训练的 Keras 模型，如 this Keras blog post 第 II 节中所述：将 Keras 模型与 TensorFlow 结合使用。

我想使用 Keras 中可用的预训练 VGG16 网络从图像中提取卷积特征图，并在其上添加我自己的 TensorFlow 代码。所以我这样做了：

import tensorflow as tf
from tensorflow.python.keras.applications.vgg16 import VGG16, preprocess_input
from tensorflow.python.keras import backend as K

# images = a NumPy array containing 8 images

model = VGG16(include_top=False, weights='imagenet')
inputs = tf.placeholder(shape=images.shape, dtype=tf.float32)
inputs = preprocess_input(inputs)
features = model(inputs)

with tf.Session() as sess:
    K.set_session(sess)
    output = sess.run(features, feed_dict=inputs: images)
    print(output.shape)

但是，这给了我一个错误：

FailedPreconditionError: Attempting to use uninitialized value block1_conv1_2/kernel
     [[Node: block1_conv1_2/kernel/read = Identity[T=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:GPU:0"](block1_conv1_2/kernel)]]
     [[Node: vgg16_1/block5_pool/MaxPool/_3 = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/device:CPU:0", send_device="/job:localhost/replica:0/task:0/device:GPU:0", send_device_incarnation=1, tensor_name="edge_132_vgg16_1/block5_pool/MaxPool", tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:CPU:0"]()]]

相反，如果我在运行网络之前运行初始化操作：

with tf.Session() as sess:
    K.set_session(sess)
    tf.global_variables_initializer().run()
    output = sess.run(features, feed_dict=inputs: images)
    print(output.shape)

然后我得到预期的输出：

(8, 11, 38, 512)

我的问题是，在运行 tf.global_variables_initializer() 时，变量是随机初始化的还是使用 ImageNet 权重初始化的？我问这个是因为上面引用的博文没有提到在使用预训练的 Keras 模型时需要运行初始化程序，这确实让我感到有些不安。

我怀疑它确实使用了 ImageNet 权重，并且只需要运行初始化程序，因为 TensorFlow 需要显式初始化所有变量。但这只是猜测。

【参考方案1】：

TLDR

使用 Keras 时，

尽可能避免使用Session（本着不可知论者 Keras 的精神） 否则使用 Keras 处理的 Session 到 tf.keras.backend.get_session。 将 Keras 的 set_session 用于高级用途（例如，当您需要分析或设备放置时）以及在程序的早期使用 — 这与“纯”Tensorflow 中的常见做法和良好用法相反。

更多信息

变量必须先初始化才能使用。实际上，它比这更微妙一点：变量必须在在会话中被初始化。我们来看这个例子：

import tensorflow as tf

x = tf.Variable(0.)

with tf.Session() as sess:
    tf.global_variables_initializer().run()
    # x is initialized -- no issue here
    x.eval()
    
with tf.Session() as sess:
    x.eval()
    # Error -- x was never initialized in this session, even though
    # it has been initialized before in another session

因此，您的 model 中的变量未初始化也就不足为奇了，因为您在 sess 之前创建了模型。

但是，VGG16 不仅为模型变量（您使用 tf.global_variables_initializer 调用的变量）创建初始化操作，而且实际上确实调用了它们。问题是，在哪个Session?

好吧，由于在您构建模型时不存在，Keras 为您创建了一个默认模型，您可以使用 tf.keras.backend.get_session() 恢复它。使用此会话现在可以按预期工作，因为在此会话中初始化了变量：

with tf.keras.backend.get_session() as sess:
    K.set_session(sess)
    output = sess.run(features, feed_dict=inputs: images)
    print(output.shape)

请注意，您还可以创建自己的 Session 并通过 keras.backend.set_session 将其提供给 Keras — 这正是您所做的。但是，正如本例所示，Keras 和 TensorFlow 有不同的思维方式。

TensorFlow 用户通常会先构建一个图，然后实例化一个 Session，可能是在冻结图之后。

Keras 与框架无关，并且在构建阶段之间没有这种内置区别 — 特别是，我们在这里了解到 Keras 可以很好地在图构建期间实例化一个 Session。。

因此，在使用 Keras 时，我建议您不要自己管理 tf.Session，如果您需要处理需要 tf.Session 的 TensorFlow 特定代码，请改用 tf.keras.backend.get_session。

【讨论】：

好，详细的答案。 tf.keras.backend.get_session 的用法应该在 official blog post 中提到过，他们在其中讨论了使用预训练的 VGG16 模型。

我有一个问题（可能不相关，如果您建议我将其作为新问题发布）：如果我在 TensorFlow 中定义 VGG16 之后的其他层，包括损失和训练操作，那么在运行训练操作时，整个模型（包括VGG16）会被端到端训练吗？

@RohanSaxena 感谢您的编辑 :-) 是的，VGG16 变量被定义为可训练的，因此您应该能够重新训练模型

当我在我的项目中尝试它时，这个特定的答案对我不起作用。如果我没看错，我们会在这里使用 tf.keras.backend.get_session 在 Keras 中创建会话，然后使用 K.set_session(sess) 再次将相同的会话设置回 Keras。 （我可能读错了..）但是我将“with tf.keras.backend.get_session() as sess:”替换为“with keras.backend.get_session() as sess:”并删除了“K.set_session”行（sess）”，它奏效了。这里有什么区别？

【参考方案2】：

作为对@P-Gn 答案的补充，如果您坚持明确创建一个新会话（如您正在阅读的教程），您应该输入以下内容：

sess = tf.Session()
K.set_session(sess)

在创建模型之前（即model = VGG16(...)）然后使用创建的会话，如：

with sess.as_defualt():
    output = sess.run(features, feed_dict=inputs: images)

【讨论】：

好笔记。一个问题：如果我在 Keras 中设置会话（使用K.set_session(sess)）在创建VGG16 模型之前，那么 Keras 会使用sess 来初始化模型变量——而不是生成一个默认Session via tf.keras.backend.get_session 如@P-Gn 所说？

@RohanSaxena 是的，Keras 将使用sess 作为其活动会话，并且模型变量将使用sess 会话进行初始化。如果您想确定，请在设置 Keras 会话（即K.set_session(sess)）后使用print(sess) 和print(K.get_session())，并在设置 Keras 会话之前使用print(K.get_session())。您会看到前两个（即设置 Keras 会话后的 sess 和 K.get_session()）指向同一个对象。