将查询结果移到另一个位置

Posted 2021-04-08

具有在python文件中定义的Airflow DAG。希望针对美国本地化的bigquery公共数据运行查询，并将结果存储在我在欧盟所在地的biqeury中。在一个DAG步骤中管理操作将非常有用。

使用如下所示的代码，但会引发错误：将位置设置为US，但是输出数据集在另一个位置。

get_data = bigquery_operator.BigQueryOperator(
  ...
  location='US',
  sql="""
    select ...
    from 'bigquery-public-data.new_tork_taxi_trips.tlc_green_trips_2018'''
  """,
  destination_dataset_table=<my-proj>.<my-dataset>.<my-table>,
  ...
)

答案

请参考BigQuery文档上的Temporary and permanent tables，当您将查询结果写入永久表时，您要查询的表必须与包含目标表的数据集在同一位置。

参考：https://cloud.google.com/bigquery/docs/managing-tables#limitations_on_copying_tables