BigQuery 创建表错误:在位置找不到数据集

Posted

技术标签:

【中文标题】BigQuery 创建表错误:在位置找不到数据集【英文标题】:BigQuery create table error: dataset not found in location 【发布时间】:2021-01-25 01:22:46 【问题描述】:

这是我的情况:

我的同事在他的 BigQuery 中有一个位于 asia-northeast3 的数据集。他已经让我读者可以访问他的数据集。我正在尝试从他的一张表中提取一些必要的数据,并将它们保存到我的数据集下的一个新表中(位置:us-central)。

我写了下面的sql来做这个,但是BigQuery报错了:

未找到:数据集 my_project_id:dataset_in_us 未在 位置亚洲-东北3

CREATE OR REPLACE TABLE `my_project_id.dataset_in_us.my_tablename` AS 
SELECT 
  create_date
  , totalid -- id for article. 
  , urlpath -- format like /article/xxxx
  , article_title -- text article title
FROM `my_colleagues_project_id.dataset_in_asia_northeast3.tablename` 
ORDER BY 1 DESC
;

我无法更改我的数据集位置或他的位置。我需要将他的数据集中的数据与我的数据集中的数据连接起来。如何解决?

【问题讨论】:

【参考方案1】:

经过 1 天的尝试和失败,我找到了一个不完美的解决方案。 我在this guide 之后将同事的整个数据集从 asia-northeast3 复制到了 us-central。 之后,我可以在复制的数据集上运行我的查询。

此解决方案非常耗时(和金钱)。我仍在尝试找出是否有一种方法可以仅将单个表而不是整个数据集从一个位置复制到另一个位置。

【讨论】:

以上是关于BigQuery 创建表错误:在位置找不到数据集的主要内容,如果未能解决你的问题,请参考以下文章

如何解决 BigQuery 中的“在美国位置找不到数据集”错误?

Google -Bigquery 错误“未找到:在美国位置找不到数据集 prime-poc:churn”

以编程方式在 BigQuery 的数据集中创建表

加载操作中的 BigQuery 错误:找不到 URI

奇怪的问题:找不到 Bigquery 数据集

从 pyspark 中删除 bigquery 表