运行 dbt 时 BigQuery“超出最大重试次数”

Posted 2023-03-23

【中文标题】运行 dbt 时 BigQuery“超出最大重试次数”

【英文标题】：BigQuery "Max retries exceeded" when running dbt

【发布时间】：2020-12-03 16:00:19

【问题描述】：

在运行 dbt 时，我们随机有一些模型失败并出现以下错误：

HTTPSConnectionPool(host=‘bigquery.googleapis.com’, port=443): 
Max retries exceeded with url: /bigquery/v2/projects/xxxx/jobs 
(Caused by NewConnectionError(‘<urllib3.connection.HTTPSConnection object at 0x7f7fdce6dbb0>:
 Failed to establish a new connection: [Errno -3] Temporary failure in name resolution’))

我尝试在线搜索，但找不到与此错误和 dbt 相关的任何内容。 这可能是 dbt 内部的问题，还是与外部问题有关？有没有办法防止这种情况发生？

我们正在使用 GKE 集群中的工作流调度程序 (Argo) 运行面向 BigQuery 的 dbt。

谢谢！ :)

【问题讨论】：

这强烈建议我您的 DNS 设置和/或您的 *** 存在问题，不允许 BQ 接收来自您的 GKE 集群的请求。我会从那里开始。

【参考方案1】：

最后，问题在于 GKE 中抢占式节点的使用。在 kube-dns/kube-proxy 服务重新启动期间执行 dbt 运行时，我们遇到了这些错误。

我们通过在 Argo 中应用重试逻辑来“解决”问题。