BigQuery 目标表在使用数据传输复制数据集后为空

Posted 2023-03-24

【中文标题】BigQuery 目标表在使用数据传输复制数据集后为空

【英文标题】：BigQuery destination tables empty after Copy Datasets with Data Transfer

【发布时间】：2021-01-08 16:43:03

【问题描述】：

在 BigQuery 上，我最近开始注意到数据传输问题 (https://console.cloud.google.com/bigquery/transfers)。

当我点击一个数据集，然后点击复制数据集，我想将一个数据集从源复制到目标。我输入如下内容：

source
project name = pA
dataset name = dA
location = EU

destination
project name = pB
dataset name = dB
location = EU

Overwrite destination tables: Selected True (tables at destination were not empty so I want to overwrite it).

点击复制后，我监控了运行历史记录中的状态，其中显示“传输已成功运行”消息。单击它我还看到每个单独的表都已成功完成。

现在当我转到 BigQuery 并进行查询时：

SELECT * FROM `pB.dB.some_table` LIMIT 1000

我收到：

This query returned no results.

发生了什么？为什么它不再工作了？为什么我的桌子在目的地是空的？

【问题讨论】：

源表是流式的吗？如果是，复制数据集的时间是 90 分钟或更长时间？

是的，确实在过去 90 分钟内流式传输

如果已经 90 分钟，请尝试再次查询表，因为流系统缓冲的行不能立即用于复制/导出。它们应在插入后约 90 分钟内可用

【参考方案1】：

由于您已确认源表是流式表，因此流式系统缓冲的行不能立即用于复制/导出。它们应该在大约90 minutes of insertion 内可用。