在 AutoML 批量预测结果中指定 BigQuery 数据集/表的名称

Posted 2023-03-29

【中文标题】在 AutoML 批量预测结果中指定 BigQuery 数据集/表的名称

【英文标题】：Specifying BigQuery dataset/table's name on AutoML Batch Prediction results

【发布时间】：2020-03-30 19:20:21

【问题描述】：

基本上我想在 AutoML 的批量预测结果上指定 BigQuery 数据集/表的名称。

但是查看以下文档，数据集和表的名称是自动生成的。每次执行的批量预测都会创建一个新数据集。

https://cloud.google.com/automl-tables/docs/predict-batch#bq-results

查看以下文档，BigQuery 目标上只能指定 projectId：

https://cloud.google.com/automl/docs/reference/rest/v1beta1/BigQueryDestination

我计划每周自动进行批量预测。为了使预测结果“更清晰”，我想将所有预测结果分组到一个数据集中，而不是为每个批量预测使用单独的数据集。

有没有办法通过提供的 API 来完成？

【问题讨论】：

你知道如何自动化吗？

批量预测完成后，生成的数据集/表的名称将在“操作”API（get）的响应中返回。因此，我通过在单独的进程中使用返回的名称将结果聚合到一个表中。 cloud.google.com/automl/docs/reference/rest/v1/…

【参考方案1】：

如果没有记录，则无法通过 API 执行此操作，那么，如果您想在同一数据集中创建所有输出，您可以将结果发送到存储桶目录 [1]，这样它将创建您的 Google Cloud Storage Bucket 中有多个 CSV 文件 [2]。

因此，现在您必须创建一种方法来从该存储桶中读取新文件，并在每次进行批量预测时在所需数据集中创建一个新表。 这是一个文档，向您展示如何从 Google Cloud Storage [3] 中的 CSV 文件创建新表。

另一种方法是从新创建的表转移到所需的数据集 [4]，但每次创建新表时都必须这样做。

[1]https://cloud.google.com/automl-tables/docs/predict-batch#using_csv_files_in

[2]https://cloud.google.com/automl-tables/docs/predict-batch#csv-results

[3]https://cloud.google.com/bigquery/external-data-cloud-storage#creating_and_querying_a_permanent_external_table

[4]https://cloud.google.com/bigquery/docs/managing-tables#copying_a_single_source_table