多个表的Pcollection

Posted 2021-04-16

我有两个bigquery表。

表A.

c_id    count_c_id  p_id

表B.

id   c_name   p_type  c_id 

根据表A中的列，我需要使用DF管道从表B中查找详细信息。

PCollection<TableRow> tableRowBQ = pipeline.apply(BigQueryIO.Read
.named("Read").fromQuery("select c_id,count_c_id,p_id from TableA"));

我的要求是基于此查询的c_id返回我应该能够使用pcollection从TableB获取c_name。我无法找到任何pcollection示例来迭代一个表中的字段并使用该字段从另一个表中获取数据。

Google小组分享的示例作为参考。 https://github.com/GoogleCloudPlatform/DataflowSDK-examples/blob/master-1.x/src/main/java/com/google/cloud/dataflow/examples/cookbook/JoinExamples.java。

答案

从Cloud DataFlow documentation，我认为你有两种方法来完成这种JOIN任务。根据你有多少独特的c_ids，我会选择以下两个选项之一。

• 如果你没有很多c_ids，我会把你的SELECT查询的结果视为一个侧输入，并用它作为过滤器传递到表B中的查找;

这是一个使用BigQueryIO查询结果作为侧面输入的代码片段：Apply Side input to BigQueryIO.read operation in Apache Beam。

• 否则，你可以使用CoGroupByKey。例如，

Table A:
c_id -> count_c_id, p_id

Table B
c_id -> c_name

由于两个表都可以看作是某些不同值的共享键，因此可以将它们CoGroup为

c_id -> ([count_c_id, p_id], [c_name]]

那么你可以在这个“分组”的新PCollection上做任何你想做的事情。