我如何在谷歌云 TPU 上将 COCO 数据集转换为一组 TFRecords

Posted

技术标签:

【中文标题】我如何在谷歌云 TPU 上将 COCO 数据集转换为一组 TFRecords【英文标题】:How can i converts the COCO dataset into a set of TFRecords on Google cloud TPU 【发布时间】:2019-03-25 05:56:48 【问题描述】:

我正在尝试准备 COCO 数据集。 在链接https://cloud.google.com/tpu/docs/tutorials/retinanet#prepare_the_coco_dataset 它被赋予 "tpu/tools/datasets/download_and_preprocess_coco.sh 脚本将 COCO 数据集转换为训练应用程序期望的一组 TFRecords"

当我尝试时,我得到了 -bash: tpu/tools/datasets/download_and_preprocess_coco.sh: 没有这样的文件或目录

如何解决

【问题讨论】:

【参考方案1】:

假设您使用的是 Google Cloud 提供的 ml-images 之一,该脚本应位于 /usr/share/tpu/ 目录中,该目录是位于 https://github.com/tensorflow/tpu 的 github 存储库的副本。

我运行以下命令并在从 1.12 映像创建的全新实例上得到以下结果。

$ file /usr/share/tpu/tools/datasets/download_and_preprocess_coco.sh 
/usr/share/tpu/tools/datasets/download_and_preprocess_coco.sh: Bourne-Again shell script, ASCII text executable

请让我知道这是否可行,或者如果您遇到任何进一步的困难。

【讨论】:

以上是关于我如何在谷歌云 TPU 上将 COCO 数据集转换为一组 TFRecords的主要内容,如果未能解决你的问题,请参考以下文章

TPU V3全新NLP类AutoML产品,这是李飞飞在谷歌云大会上的新声音

如何在谷歌云数据流管道中传递动态参数

如何在谷歌云数据流中运行动态第二个查询?

在谷歌云上创建集群

如何在谷歌colab中使用TPU

如何在谷歌云数据流中停止流式传输管道