如何使用 Google Cloud TPU 训练 keras 模型

Posted

技术标签:

【中文标题】如何使用 Google Cloud TPU 训练 keras 模型【英文标题】:How to train keras model using Google Cloud TPU 【发布时间】:2018-07-24 02:43:15 【问题描述】:

理论上,我们可以在任何支持 Tensorflow 的平台上训练支持 Tensorflow 的 Keras 模型。但是,我似乎在 Google 的文档 https://cloud.google.com/tpu/docs/ 中找不到任何有关如何操作的信息。

【问题讨论】:

【参考方案1】:

我们在 TPU 存储库中有一个示例: https://github.com/tensorflow/tpu/blob/master/models/experimental/cifar_keras/cifar_keras.py

【讨论】:

谢谢,该示例中似乎仍有相当数量的 Tensorflow 内容。这样的损失函数和优化器。此外,在示例中,Keras 是从“tf.contrib”导入的。我知道 Keras 是由 Google 团队开发的,但是现在推荐使用 Keras 的方式吗? 我也在尝试在 TPU 中重用我的 keras 推理代码,似乎没有简单的方法。 你找到方法了吗?我正在尝试在此 example 旁边使用 tf.keras.applications' 模型。我刚刚用导入tf.keras.applications 模型的函数替换了cnn_model。但我收到错误 NotImplementedError: Operation of type ReadVariableOp (block1_conv1/Conv2D/ReadVariableOp) is not supported on TPU for inference。如果在图中使用此操作,则执行将失败。确保您的变量正在使用 variable_scope。

以上是关于如何使用 Google Cloud TPU 训练 keras 模型的主要内容,如果未能解决你的问题,请参考以下文章

如何将 Cloud TPU 与 Tensorflow Lite Model Maker 结合使用?

使用 TPU 运行时在 Google Colab 上训练 Keras 模型时出错

从 TPU 虚拟机写入 GCP 存储桶

使用 GOOGLE COLAB TPU 在 IMAGENET 上训练 VGG-16 模型需要多长时间?

存储在 Google Cloud 上的大量 TF 记录文件

使用大数据集在 Google Colab TPU 上训练 seq2seq 模型 - Keras