Google BigQuery 和 Google API 客户端包

Posted

技术标签:

【中文标题】Google BigQuery 和 Google API 客户端包【英文标题】:Google BigQuery and Google API Client Package 【发布时间】:2019-08-24 14:51:56 【问题描述】:

我是一家金融科技初创公司的 DevOps 工程师,我们正在尝试将数据从 GCS 发送到 Airflow 中的 BigQuery,但在日志中收到以下错误消息,参考:

/site-packages/googleapiclient/http.py, line ___, in _retry_request for retry_num in range(num_retries + 1):

TypeError:+ 不支持的操作数类型:“NoneType”和“int”

是否有任何参数需要调整才能让这项任务发挥作用? 谢谢!

【问题讨论】:

你能运行this example吗?另外,配置重试次数是否为您解决了问题? 【参考方案1】:

当您配置 google 连接时(例如从 Airflow Web Interface /Admin/Connections 中),设置重试次数。

这似乎对我有用,显然默认设置为None,这就是它失败的原因。

【讨论】:

以上是关于Google BigQuery 和 Google API 客户端包的主要内容,如果未能解决你的问题,请参考以下文章

如何使用 Google Apps 脚本将来自 Google 电子表格和 ScriptDB 的数据插入 BigQuery 表

通过 BigQuery 从 Google 分析中获取访问者纬度和经度

将数据从 Google 永久磁盘加载到 BigQuery?

在 google bigquery 中,如何使用 google python 客户端使用 javascript UDF

连接 BigQuery 和 Google 表格 - 日期参数问题

使用 Google Composer 运行 Bigquery 查询