您可以安排 BQ 查询每天运行并保存到表中吗？ [复制]

Posted 2023-03-24

【中文标题】您可以安排 BQ 查询每天运行并保存到表中吗？ [复制]

【英文标题】：Can you schedule a BQ query to run daily and save to a table? [duplicate]

【发布时间】：2018-06-27 21:26:25

【问题描述】：

我有一个 BQ 查询会产生大量数据，我通常将这些数据保存为新表。是否可以安排此过程每天进行？如果可能的话，推荐的做法是什么？

【问题讨论】：

还可以查看Potens.io，尤其是 Magnus - BigQuery Mate 和 Potens.io 的作者

正如 Jean-C 提到的 - 我将其标记为重复，并添加对上一篇文章的回复。

【参考方案1】：

Bigquery 没有自带作业调度程序。您将无法从 bigquery Web 视图执行此操作。

你完全可以用一点代码做到这一点。您必须选择一个调度程序来在您希望的时间运行您的 bigquery 查询作业。许多人只是从一个非常简单的 bash 脚本开始，该脚本通过 cron 运行作业。

另一种方法是使用 apache-airflow 作为调度程序，并将您的作业部署为可以在您需要时执行的气流 DAG。 Airflow 甚至有一个 BigqueryOperator 可以让您更轻松地完成此操作。

基本上你需要一点代码和谷歌云sdk来做到这一点。

我相信这个问题可能已经回答了here

【讨论】：

这里***.com/questions/42874629/schedule-query-in-bigquery/… :)