BigQuery 错误：目标在执行期间已删除/过期

Posted 2023-03-24

技术标签:

【中文标题】BigQuery 错误：目标在执行期间已删除/过期【英文标题】：BigQuery Error: Destination deleted/expired during execution 【发布时间】：2016-07-01 15:03:29 【问题描述】：

我有一个批处理脚本可以将数据从谷歌云存储桶加载到大查询中的表中。计划的 SSIS 作业每天执行此批处理文件。

bq load -F "\t" --encoding=UTF-8 --replace=true db_name.tbl_name gs://GSCloudBucket/file.txt "column1:string, column2:string, column3:string"

奇怪的是，有些日子执行成功，有些时候却没有。这是我在日志上的内容。

等待 bqjob_r790a43a4_00000155a65559c2_1 ... (0s) 当前状态：RUNNING ...... 等待 bqjob_r790a43a4_00000155a65559c2_1 ... (7s) 当前状态：DONE

加载操作中的 BigQuery 错误：错误处理作业：目标执行期间删除/过期

【问题讨论】：

【参考方案1】：

一个选项是，如果您对该表有 1 天（或多天）到期（直接在表上或通过数据集的默认到期）。在这种情况下 - 因为加载的实际时间非常你可以到达目标表到那个时间过期的情况。

您可以使用configuration.load.createDisposition 属性来解决这个问题。或者/并且您可以确保您设置了适当的到期时间 - 对于日常流程，可以说 - 26 小时 - 因此您有额外的 2 小时来完成您的 SSIS 作业，然后表格才能到期

【讨论】：

以上是关于BigQuery 错误：目标在执行期间已删除/过期的主要内容，如果未能解决你的问题，请参考以下文章