Bigquery如何从数据流中删除记录
Posted
技术标签:
【中文标题】Bigquery如何从数据流中删除记录【英文标题】:Bigquery how delete records from dataflow 【发布时间】:2020-03-19 20:44:51 【问题描述】:我需要从数据流中更新和删除 BigQuery 中的记录。数据来自 Pubsub,并带有标识操作插入、更新、删除(I、U、D)的标志。插入不是问题。
有什么更新和删除的建议吗?
【问题讨论】:
【参考方案1】:Dataflow 中的 IO 更喜欢进行盲写(最好是写入单独的表),因此会保留输入。这提供了更稳定、高性能的体验,并防止更改管道输入。
插入,当然可以简单地使用 BigQueryIO.Write 来执行
对于更新,如果您只是想覆盖表中的前一行。然后,您可以使用 BigQueryIO.Write 编写一个 TableRow。
如果想要读取、修改、写入一行(即将一行中的值增加 X)。然后这也将涉及读取数据。这更复杂。这里有一些方法(为此,您还可以将删除视为一种更新。即可以添加一行以指示应丢弃该“键”的所有条目)。
方法 1 将每个更新写入自己的行
在此处查看答案,您只需将每次更新(无需读取)写入一行并在执行 SQL 查询时计算聚合值。根据您想要的更新,这可能对您的 SQL BQ 查询执行良好。
Google Dataflow: insert + update in BigQuery in a streaming pipeline
方法 2 使用数据流流状态
使用这种方法,您可以创建一个StatefulParDo,它实质上允许您为特定 ParDo 的每个 Dataflow 键在 Dataflow 中存储一些持久状态。因此,您可以在此处保留一个值,根据您的 pubsub 事件不断更新它,并发出一个元素,该元素用新的 TableRow 覆盖输出 BigQueryTable 中的一行。
如果您有一个现有的 BQ 表,可能需要同时使用 BigQueryIO.Read 和 PubsubIO.Read 来初始化 StaefulParDo。
使用这种方法需要注意一些pricing associated with this dataflow streaming state。
当您更新数据流管道时,也会保留此数据。
方法 3 编写日志表并计算您想要的最终表
在这种方法中,您可以为每个事件在表中写入一个条目(无论它是插入、更新还是删除。
然后在该 BigQuery 表中读取另一个管道,聚合具有相同“键”的所有行。尽管您需要使用窗口来聚合数据。因此,您将能够在同一小时、同一天等时间为该键的所有事件计算一个最新条目。使用该窗口。
方法 4 直接使用 BigQuery API(不推荐)
编写一个自定义 ParDo,该 ParDo 使用 BigQuery API 直接从 ParDo 手动读取、修改和写入每个 BigQuery 更新(而不是使用 BigqueryIO)。
不推荐,因为 RPC 读取修改和写入每一行会很慢,因为 RPC 往返时间。这也会产生不需要的副作用,即如果您最终在数据流重试时重新处理数据,则可能会多次应用更新。但是,如果您可以接受不准确并且数据量很少,这可能会起作用。
对此的替代方法包括:使用具有流状态的 ParDo(这将允许您更新 Dataflow 管道中键的值)
【讨论】:
以上是关于Bigquery如何从数据流中删除记录的主要内容,如果未能解决你的问题,请参考以下文章