BigQuery 数据传输作业因内部错误而失败(错误:80038528)

Posted

技术标签:

【中文标题】BigQuery 数据传输作业因内部错误而失败(错误:80038528)【英文标题】:BigQuery data transfer Job failed with error INTERNAL (Error: 80038528) 【发布时间】:2021-05-05 11:50:40 【问题描述】:

我在 BQ 中创建了一个表并继续进行云存储数据传输作业(参考 - https://cloud.google.com/bigquery-transfer/docs/cloud-storage-transfer)。但是这项工作引发了以下错误。

Job bqts_6091b5c4-0000-2b62-bad0-089e08e4f7e1 (table abc) failed with error INTERNAL: An internal error occurred and the request could not be completed. Error: 80038528; JobID: 742067653276:bqts_6091b5c4-0000-2b62-bad0-089e08e4f7e1

【问题讨论】:

【参考方案1】:

作业失败(错误:80038528)的原因是没有足够的可用插槽。在资源分配方面,在 BigQuery 中使用按需模型运行查询时,没有固定的资源可用性保证。确保一定数量的插槽始终可用的唯一方法是迁移到统一费率模型 [1]。

如果插槽不是问题,那么您可以按照提到的@Sakshi Gatyan 进行操作。这是获得 BigQuery 内部错误准确解决方案的正确方法。

[1]。 https://cloud.google.com/bigquery/docs/slots

【讨论】:

使用数据传输进行跨区域数据复制的类似问题。这项工作工作正常,直到突然失败。不确定插槽可能是问题,因为传输适用于同一区域的数据移动。想知道是否有任何与跨区域数据传输相关的政策变化。【参考方案2】:

由于它是 internalError,因此您的作业失败可能有多种原因,具体取决于您的环境。

check error table

Google 支持团队需要对这项工作进行内部检查。所以我建议用support 填写case。

【讨论】:

以上是关于BigQuery 数据传输作业因内部错误而失败(错误:80038528)的主要内容,如果未能解决你的问题,请参考以下文章

数据流作业在 BigQuery 写入失败并出现后端错误

Vertex AI 模型批量预测因内部错误而失败

BigQuery 代码因使用 pandas python 客户端库的 MemoryError 而失败

Sqoop 作业因 Oracle 导入的 KiteSDK 验证错误而失败

流式传输作业失败-状态架构不兼容问题

插入 BigQuery 的数据流因 asia-northeast1 位置的大量文件而失败