`TFRecord` 从 Google BigQuery 转储到 Google Cloud Storage

Posted 2023-03-24

【中文标题】`TFRecord` 从 Google BigQuery 转储到 Google Cloud Storage

【英文标题】：`TFRecord` dumping from Google BigQuery to Google Cloud Storage

【发布时间】：2018-05-23 08:35:03

【问题描述】：

我想编写一个 ETL 转换作业，以

BigQuery 中的查询元素 对它们应用一些转换 序列化为TFRecords格式 将.tfrecords 转储到 Cloud Storage 存储分区中

该解决方案可能会使用 Google Cloud 产品。

我尝试使用 App Engine cron 作业以及 Google Cloud Python API，但无法使用 tensorflow 部署 App Engine（这是TFRecords 序列化所必需的）。

有什么可以顺利完成的建议吗？

【问题讨论】：

您可以在 python 中编写您的管道，然后在 Google Cloud 虚拟机上运行整个流程？

【参考方案1】：

AppEngine 标准版不能运行 TensorFlow，但 AppEngine 灵活版可以。 请参阅此处的示例How to run TensorFlow in Google App Engine Flexible Enviroment?