使用 bigquery 对数据存储键进行连接

Posted

技术标签:

【中文标题】使用 bigquery 对数据存储键进行连接【英文标题】:Making joins on datastore keys using big query 【发布时间】:2016-11-21 14:41:26 【问题描述】:

我一直想知道是否可以使用基于键的连接对数据存储进行大查询。例如,我有两个实体项目和部门。如果我存储一个部门,我会生成一个部门密钥并将其附加到程序中。但是,在检索时,我如何将该程序转换为具有相关字段的真实实体? 假设部门有 code , name 字段,programs 有 department_key , id , name 等。 保存程序时,它带有部门密钥我如何在大查询中加入以根据程序实体中保存的部门密钥获取部门数据。

【问题讨论】:

【参考方案1】:

请我现在得到正确的答案,我没有注意到数据集表通过拥有自己的 __key__.id 来表示自己的键,这可用于实现连接。所有带有键的对象都被完全表示使用 _key_name,_key_path 等。总之,如果您遇到这种情况,只需探索 dataset.table 并检查您打算加入的实体键的基础 id。谢谢。

【讨论】:

以上是关于使用 bigquery 对数据存储键进行连接的主要内容,如果未能解决你的问题,请参考以下文章

bigquery 存储 api 在创建读取会话时挂起

对超过 4000 天数据的 bigquery 表进行分区?

如何使用bigquery流将嵌套数据插入现有记录

如何在视图或计划查询之间进行选择,以对通过 Stitch 导入的 BigQuery 表进行重复数据删除?

如何从 BigQuery 中的 Array(Struct) 类型数据结构中获取每个键名的值

通过 VPC/*** 的 Google 托管服务(BigQuery、云存储等)