BigQuery - 数据传输成功，但目标表保持为空

Posted 2023-03-24

【中文标题】BigQuery - 数据传输成功，但目标表保持为空

【英文标题】：BigQuery - data transfer success but destination table stays empty

【发布时间】：2021-04-06 08:15:43

【问题描述】：

最终目标：将 csv 文件内容从谷歌云存储桶传输到 BigQuery 数据集中的表中。

问题：数据传输似乎工作正常，未显示任何错误/警告，但数据未能到达目标表。

预先创建的数据集/表 bkt 创建并上传了一个 csv 文件 创建并配置数据传输以将所有文件从上述存储桶传输到我的目标表。 传输是按需定义的。

我是 bigQuery 和 GCP 的新手，但数据传输的想法对我来说似乎很直观。 我假设我在这里遗漏了一些东西，但流程没有通知我。 所以我认为这可能是权限（我有 bigQuery Admin 角色等等......） 我认为这是一个位置/地区的事情，但所有资源都在欧盟..

你能帮我理解我还缺少什么吗？ 附上一些可能有帮助的图片。

Bucket Configuration (where my csv resides)

Destination Table details

Transfer Configuration

Data Transfer output showing a successful action

提前致谢。

【问题讨论】：

您能否检查您的 id 上是否具有最低“BigQuery 数据编辑”角色？这可能是个问题。

非常感谢 Vibhor 的回答。在我使用 BQ 数据编辑器更新我的角色后，我设法完成了这项工作。我仍然不明白为什么我没有收到任何通知，这对我来说似乎是一个问题/错误。无论如何，您能否将其发布为答案，以便我接受它作为正确答案。

【参考方案1】：

请在您的 ID 上至少拥有“BigQuery 数据编辑器”角色来解决您的问题。

【讨论】：

什么是“最低 'BigQuery Data Editor' 角色”？？

【参考方案2】：

不确定出了什么问题，因为没有返回错误，但在这种情况下我通常会检查两点：

您是否尝试重新加载 BigQuery 工作区？它不会自动刷新，因此您必须重新加载才能看到更改（如果有的话..）

您是否尝试过直接从工作区加载 csv（在 UI 中从云存储创建表），而不设置数据传输？这样，如果您的文件有问题，您可以立即检查

【讨论】：

感谢您的回答 :) 。我确实尝试过重新加载，但没有成功。我会尝试您关于直接加载的建议，但上面关于“BigQuery 数据编辑器”角色的评论解决了它。